A 2021-es EDEN kvantálási algoritmus veri a 2026-os TurboQuantot
Az EDEN-unbiased változat például egy bittel kevesebb adatot használva is felülmúlja a TurboQuant-prod pontosságát, jelentős hatékonyságnövelést kínálva.
A 2026-os ICLR konferencián nagy figyelmet kapott a TurboQuant nevű online vektorkvantálási módszer, ám úgy tűnik, egy 2021-es algoritmus, az EDEN már évekkel korábban hasonló, sőt jobb eredményeket ért el — írja a Towards Data Science.
Az EDEN, amelyet először DRIVE néven mutattak be 2021-ben a NeurIPS-en, majd 2022-ben az ICML-en általánosítottak tetszőleges bitméretekre, a TurboQuanttal jelentős átfedést mutat. Egy friss összehasonlítás szerint a TurboQuant-mse az EDEN egy degenerált esete, és az EDEN variánsai következetesen felülmúlják a TurboQuant megfelelőit.
Az optimális skálázás ereje
Az EDEN algoritmus négy lépésben tömörít egy vektort: véletlenszerű rotáció, skaláris kvantálás, skálázás és inverz rotáció. A kulcsfontosságú különbség a skálázási faktor (S) kiválasztásában rejlik. Míg az EDEN analitikusan vezeti le az optimális S értéket, addig a TurboQuant-mse kihagyja ezt az optimalizált skálázást, holott a MSE minimalizálását célozza.
Az optimális S alkalmazásának értéke a bitmérettel együtt nő. 4 bitnél és 128 dimenziónál az EDEN-biased 2,25%-kal csökkenti a MSE-t a TurboQuant-mse-hez képest. Ez a bitméret az, amit a szakemberek jellemzően használnak beágyazásokhoz és KV-gyorsítótárakhoz. Az EDEN-biased minden tesztelt dimenzióban (16-tól 4096-ig) és bitméretben (1, 2, 3, 4 bit) alacsonyabb hibát produkált.
Torzításmentes tömörítés és a gyakorlati előnyök
A torzításmentes (unbiased) tömörítés különösen fontos olyan alkalmazásoknál, mint a disztribúált betanítás, ahol sok kvantált vektort átlagolnak. Az EDEN-unbiased ugyanazt az egyfázisú algoritmust használja, mint az EDEN-biased, csak más S értéket választ a torzítás korrigálására. Ezzel szemben a TurboQuant-prod, a TurboQuant torzításmentes változata, a bitköltség egy részét egy QJL (Quantized Johnson–Lindenstrauss) korrekcióra fordítja.
Az EDEN-unbiased minden tesztelt konfigurációban jelentős mértékben felülmúlja a TurboQuant-prodot. Ennek oka az EDEN egyfázisú kialakításának három strukturális előnye: az EDEN optimalizálja a skálát, az EDEN 1-bites felépítése alacsonyabb varianciával rendelkezik, és az EDEN a teljes bitköltséget egyetlen torzításmentes kvantálóra fordítja. Ez a hatás olyan mértékű, hogy a 1, 2 és 3 bites EDEN-unbiased pontosabb, mint a 2, 3 és 4 bites TurboQuant-prod, ami azt jelenti, hogy az EDEN használatával egy bittel kevesebb is elég lehet a TurboQuant-prod pontosságának eléréséhez.