A Bonsai 1-Bit modell 8B méretben óriási előrelépést hoz
A Bonsai 1-Bit modell átlagos hibarányának logaritmusát a modell méretével összehasonlítva mérhetjük, amit az úgynevezett intelligencia-sűrűség mutat.
A PrismML 1-bit Bonsai 8B LLM az első kereskedelmi szintű 1‑bit modell, amely 8 milliárd paraméterrel rendelkezik. A teljesítménytesztek szerint a modell képessége a mérethez képest nem csak egy kicsi lépés, hanem egy nagy ugrás. A méréshez a intelligencia‑sűrűség fogalmát alkalmazták: negatív logaritmus a modell átlagos hibarányának, osztva a modell méretével.
A 1‑bit Bonsai lehetővé teszi, hogy a nagy modellekhez hasonló teljesítményt érjünk el egyetlen gigabájt méretben. Ez a csökkenés a memóriabeli tárolást és a számítási igényt is jelentősen alacsonyabbra csökkenti, ami a mobil eszközökön történő futtatást teszi megvalósíthatóvá.
A Cursor eszközben is kipróbálták a modellt: a LLM képes volt egy weboldal tesztjét generálni és egy Monte‑Carlo szimuláció logikáját helyesen megérteni, bár a teszt indítási interfészét nem tudta felépíteni.
Ez a fejlesztés újabb lehetőségeket nyit a valós idejű agenti feladatok számára, mivel a 1‑bit architektúra csökkenti a latenciát és a hardverigényt. A PrismML nyílt forráskódú modelljei, mint a 4B és 1.7B változatok, szintén elérhetők a GitHubon, így a fejlesztők saját környezetükben is kipróbálhatják.
Mi lesz a következő lépés? A PrismML már említi a Turboquant integrációt, de részletek még nem kerültek közzétételre. A felhasználók várhatóan a következő kiadásban fogják tapasztalni a kombinált hatékonyságot.