A Google Gemma 4 31B QAT Q4 modell teljesítménytesztje megosztja a Reddit közösségét
A Google Gemma 4 31B QAT Q4 modelljének teljesítményteszt eredményei vita tárgyát képezik a Reddit-en, mivel a felhasználók nem értenek egyet a kvantálás-tudatos képzés és a standard kvantálás által produkált számok jelentésével. A vita a Top1 KLD metrikára összpontosul.
A Google Gemma 4 31B QAT Q4 modelljének teljesítményteszt eredményei megosztják a Reddit felhasználóit. A LocalLLaMA alReddit-en zajló vita arról szól, hogy a kvantálás-tudatos képzés (QAT) és a standard kvantálás (Q4) eltérő eredményeket produkál a Top1 KLD metrikán, ami félreértésekhez vezet. A felhasználók próbálják megfejteni, melyik eredmény a mérvadó.
Egy Reddit-felhasználó szerint az Unsloth által közölt adatok zavarosak. Az Unsloth hagyományos Q4 kvantálása 19,9 GB-os méretet és 0,478 KLD-t eredményezett 82,9%-os Top-1 pontossággal. Ezzel szemben a Google által végzett QAT-képzés és a kvantálás-tudatosítás más eredményekhez vezethet, ami megnehezíti a modellek összehasonlítását.
Kapcsolódó: Alibaba Qwen3.6
Az Unsloth egy másik bejegyzése szerint a QAT Q4_0 BF16 modellek naiv konvertálása pontatlanságot eredményezhet a llama.cpp eltérő rácsai miatt. Az Unsloth dinamikus GGUF-jai ezt a pontosságot nagyrészt helyreállítják: a 31B modell esetében 87,9%-ról 96,7%-ra növelték a Top-1 pontosságot. A Google közleménye szerint a QAT csökkenti a minőségveszteséget tömörítéskor, és új, mobilra optimalizált formátumot is bevezettek, ami 1 GB-ra csökkenti a Gemma 4 E2B memóriahasználatát.
Kapcsolódó: Gemma 4 modellcsalád