A PentaNet projekt új lehetőségeket nyit a BitNet-en túl
A PentaNet projekt mögött álló csapat 124M paramétert használ az új modellben.
A PentaNet csapat a BitNet korlátain túlmutató megoldást kínál: a modell 124 millió paraméterrel dolgozik, és saját pentanáris kvantizációt használ, ahol a szintek –2, –1, 0, 1, 2. Ez a kvantizáció lehetővé teszi, hogy a számítások során a sokáig költséges mátrixszorzás helyett egyszerű összeadások és szorzások legyenek a fő műveletek.
A kvantizáció megvalósításával a modell képes a „zero‑multiplier inference” módszerrel futni, ami azt jelenti, hogy a nullával szorzott elemek nem igényelnek számítási erőforrást. Az eredmények szerint a PentaNet a BitNet 1.58 milliárdos modelljét meghaladja, miközben sokkal kisebb számítási terhelést jelent.
Hogyan működik? A pentanáris skálán a szint 0 teljesen kihagyja a számítást, míg a pozitív és negatív értékek csak egyszerű összeadás vagy kivonás. Ez a módszer csökkenti a memóriahasználatot és a teljesítményigényt, különösen a GPU-k és CPU-k számára, amelyek nem támogatják natív módon a 5‑szintű kvantizációt.
Az iparági hatás? A PentaNet bemutatása arra ösztönzi a kutatókat, hogy új kvantizációs technikákat dolgozzanak ki, amelyek csökkentik a LLM-ek futtatási költségét. A modell kifejezetten a “zero‑multiplier inference” koncepciójára épít, ami a jövőben új szintet jelenthet a nagy nyelvi modellek hatékonysága terén.
Mi a következő lépés? A csapat jelenleg a PentaNet prototípusát teszteli, és a következő hónapokban várható a nyilvános kiadás. Figyeljünk a GitHub-on publikált kódra és a Redditen folytatódó vitákra, ahol a részletes implementációs részletek és a teljesítményadatok kerülnek közzétételre.