Miért nem lehet a TurboQuant-ot kvantálásra alkalmazni? A LocalLLaMA közösség magyarázza
A Google TurboQuant módszere csak egydimenziós vektorokon forgatja a súlyokat — a 2D súlymátrixokon ez nem működik, ezért a kvantáláshoz más megközelítés kell.
A TurboQuant technika nem alkalmazható a modell saját kvantálására, mert a módszer csak vektorokon működik. A Reddit LocalLLaMA közösségében felmerült a kérdés: miért nem tudjuk egyszerűen ugyanazt a rotációt használni a teljes mátrixok kvantálásán?
A kvantálás alapja a 2D mátrixok, azaz a súlymátrixok és a váltóállapotok (KV cache) numerikus értékeinek lecsökkentése. A TurboQuant csak egyetlen vektort, azaz egy sorozatot képes forgatni, míg a mátrix egy több sorból és oszlopból álló táblázat. A vektor forgatásával a koefficiensek egyenletesen oszlanak el, ami a kvantálás során a legnagyobb pontosságot biztosítja.
Ez a különbség a matematikai alapokon nyugszik: egy véletlenszerű forgatás a vektor esetén a komponensek közelíti a kardinalitás irányait, így a kvantálás nem veszít információt a precision csökkenése után. Egy mátrix esetén a sorok és oszlopok közötti összefüggések miatt a forgatás nem hozza a kívánt eloszlást, így a kvantálás hatékonysága jelentősen csökkenne.
Az ELI5 magyarázat szerint a TurboQuant rotációja csak akkor hatékony, ha a bemeneti adat egyetlen vektor. A mátrixokban a dimenziók száma meghaladja a 2D struktúrát, ezért a forgatás nem tudja „megosztani” a súlyok információját megfelelően.
Az eredmény: a kutatók a TurboQuant legkiválóbb részeit a KV cache kvantálására alkalmazzák, míg a modell súlyainak kvantálásához más, mátrixorientált módszereket keresnek. A közösségben folyamatosan zajlik a kutatás, hogy hogyan lehet a vektoriális ötleteket adaptálni a mátrixokhoz.
Jövőben várható, hogy a TurboQuant kutatói új technikákat fejlesztenek, amelyek a mátrixokra is alkalmazhatók, vagy alternatív kvantálási stratégiákat mutatnak be. A fejlesztések előretekintésére érdemes a Reddit fórumok és a TurboQuant.net elemzéseit figyelemmel kísérni.