A Google Gemma 4 modellje már telefonon is fut
A Google Gemma 4 modelljének nyílt forráskódú volta lehetővé teszi, hogy akár egy Raspberry Pi eszközön is futtassák, valós idejű döntéshozatalra alkalmas legyen.
A Google bejelentette, hogy a Gemma 4 modellje teljesen nyílt forráskódú, Apache 2.0 licenc alatt. Ez lehetővé teszi, hogy akár egy Raspberry Pi eszközön is futtassák, így a modell valós idejű döntéshozatalra alkalmas.
Miért fontos ez? A korábbi nagy nyelvi modellek több gigabájtos, energiagazdag rendszerekben működtek. A Gemma 4-nek köszönhetően egyetlen 4 GB RAM‑mal rendelkező Raspberry Pi képes a feladatokra reagálni, anélkül, hogy a felhasználónak a felhőbe kellene küldeni a lekérdezést.
A model 12 B paraméterrel rendelkezik, de a „quantization” és a sparsity technikák révén a memóriaköltség jelentősen csökkent. A Google a dokumentációban részletezi, hogy a 4 GB RAM‑os eszközön akár 5 ms-as válaszidő is elérhető.
Az indítás után a fejlesztők és kutatók azonnal elindíthatják a saját alkalmazásaikat. A ZDNET szerint a Gemma 4 telepítése akár 30 perc alatt elvégezhető egy standard Pi 4‑on, ami a felhőalapú megoldásokhoz képest jelentős gyorsulást jelent.
Mi lesz a következő lépés? A Google a bevezetés után a „Gemma 4‑s” közösségi fejlesztését várja, amelynek része lehet a valós idejű ipari monitorozás és a személyre szabott asszisztensek.