A PolarQuant 98%-ban javítja a minőséget Hadamard-rotációval
A PolarQuant a Qwen3.5-9B perplexity értékét 6.90-ről 6.40-re csökkenti
A PolarQuant módszer 98% –ban javítja a minőséget. A Hadamard-rotáció önmagában a teljes hatás 98%-át teszi ki, a Qwen3.5-9B perplexity értéke 6.90-ről 6.40-re csökken, ami a FP16-hez képest +0.03 ponttal egyezik meg.
PolarQuant három szakaszban működik: először blokkonként normalizálja a súlyokat a unit hypersphere-re, majd a Walsh–Hadamard forgatással Gauss‑szerű koordinátákat hoz létre, végül a Gauss‑eloszlásra illesztett centroidekkel kvantálja. Az eljárás teljesen utólagos, nincs szükség kalibrációs adatra.
A Hadamard‑rotáció hatása a kvantálás előtti normalizálást erősíti, így a súlyblokkok eloszlása közelít a normál eloszláshoz, ami a kvantálási hibát jelentősen csökkenti. A 6.40 perplexity a Qwen3.5-9B esetében praktikus, veszteségmentes kompressziót jelent.
PolarQuant továbbá hatékony előfeldolgozó a 4‑bit INT4 kvantálók számára: PolarQuant Q5–ből torchao INT4‑re rekvantálva 6.56 perplexity-t ér el, míg közvetlen absmax INT4 6.68-at ad. Ez azt mutatja, hogy a PolarQuant egy lépés előrébb visz a LLM kvantálásában.
Mi lesz a következő lépés? A PolarQuant most demonstrálva lett a Qwen3.5-9B esetén, de a kutatók a 4‑bit turboquant és más LLM-ekre is terjesztik a módszert, hogy a mélyebb kompresszió mellett is fenntartsák a teljesítményt.