A Qwen 3.5 9B modell 16-ról 8 bitesre váltva szinte semmit nem veszít az pontosságából

A Sam Rose által végzett kísérletek szerint a Qwen 3.5 9B modell 16-ről 8 bitesre váltása szinte semmit nem veszít az pontosságából. A kísérlet során a modell pontossága alig csökkent, ami azt jelzi, hogy a 16-ről 8 bitesre váltás nem jár jelentős minőségromlással.

Az eredmények azt mutatják, hogy a kvantalizáció fontos szerepet játszik a nyelvi modellek minőségének meghatározásában. A kvantalizáció során a modell súlyait és bemeneti értékeit egy adott bitek számára korlátozzuk, ami csökkenti a modell méretét és gyorsítja a feldolgozást. Azonban a kvantalizáció során fontos figyelembe venni az úgynevezett outlier értékeket, amelyek ritkán fordulnak elő, de fontosak a modell minőségének meghatározásában.

Az outlier értékek fontosságát az is bizonyítja, hogy azok eltávolítása a modell teljesítményének jelentős romlásához vezethet. A kísérlet során a Qwen 3.5 9B modell 16-ről 4 bitesre váltásánál már érezhető minőségromlás tapasztalható, de ez még mindig 90%-os pontosságot jelent. Ez azt jelzi, hogy a 16-ről 4 bitesre váltás nem jár olyan jelentős minőségromlással, mint ahogy azt várnánk.

A kvantalizáció hatásának vizsgálata során a perplexity és a KL divergence fogalmait is használták. A perplexity az adott szöveghez tartozó valószínűség mértékét jelenti, míg a KL divergence a két eloszlás közötti különbséget méri. A kísérlet során a llama.cpp perplexity tool és a GPQA benchmark használatával vizsgálták a kvantalizáció hatását a Qwen 3.5 9B modell pontosságára.

Az eredmények azt mutatják, hogy a kvantalizáció fontos szerepet játszik a nyelvi modellek minőségének meghatározásában, és hogy az outlier értékek fontosak a modell minőségének meghatározásában. A 16-ről 8 bitesre váltás szinte semmit nem veszít az pontosságából, míg a 16-ről 4 bitesre váltás már érezhető minőségromlást okoz, de még mindig 90%-os pontosságot jelent.