Google 16GB RAM-mal futó AI-modellt ad ki, 12 milliárd paraméterrel
A Google új, 12 milliárd paraméteres Gemma 4 12B modellje 16GB RAM-mal futtatható, ami a legtöbb átlagos laptopon lehetővé teszi a futtatást.
A generatív AI-boom jelentősen megdobta a memória árát, de a Google most egy kevésbé RAM-igényes AI-modellel rukkolt elő. A cég bejelentette a Gemma 4 család új tagját, amely betölti az év elején megjelent modellek közötti űrt.
Az első Gemma 4 modellek áprilisban jelentek meg, köztük két mobilra optimalizált (E2B és E4B), valamint két nagyobb teljesítményű (26B Mixture of Experts és 31B Dense) változat. A Gemma 4 12B a mobil és a nagy teljesítményű modellek közötti rést hivatott betölteni.
Kapcsolódó: Gemma 4 modell
A szürkezóna felfedezése
A Google szerint a 12 milliárd paraméteres modell szinte bármelyik átlagos fogyasztói laptopon futtatható minőségromlás nélkül, feltéve, hogy a gép rendelkezik 16GB rendszer- vagy videorammal. Ez a Gemma 4 26B MoE modell memóriakeretének fele, miközben a Google állítása szerint a képességei majdnem megegyeznek vele — írja az Ars Technica.
Kapcsolódó: Gemma 4 licenc
A Gemma 4 12B képes komplex, több lépésből álló érvelésre és ügynöki munkafolyamatokra, amelyek korábban csak a nagyobb Gemma változatokkal voltak lehetségesek. A kisebb paraméter ellenére az új modell az újonnan kifejlesztett Multi-Token Prediction (MTP) draftereket használja, amelyek kihasználják a kihasználatlan feldolgozási ciklusokat a jövőbeli tokenek kiszámítására, növelve ezzel a sebességet és a hatékonyságot.
Kapcsolódó: Raspberry Pi Gemma
A multimodális kapu
A modell multimodalitása is hatékonyabbá vált. A Gemma 4 család natívan multimodális, képes szöveget, hangot és képet is bemenetként fogadni. Míg más modellek dedikált enkódereket használnak a nem szöveges bemenetek feldolgozására, a Gemma 4 12B egy áramvonalasított vizuális embedding modult használ, amely egyetlen mátrixszorzással és pozíciós embeddinggel továbbítja az adatokat az LLM-nek, megőrizve a térbeli tudatosságot.
Kapcsolódó: Gemma 4 bemutatása
A Gemma 4 12B modell kipróbálható olyan eszközökön keresztül, mint a LM Studio vagy a Google AI Edge Gallery, letöltés nélkül. A modell súlyai azonnal elérhetők Kaggle-ön és Hugging Face-en, méretük alig 18GB, és a Google azonnal elkezdte a modell integrációját a saját termékeibe, 2024 első negyedévére.
Kapcsolódó: Gemma 4 teljesítmény