26 milliós paraméterű AI-modellt desztillált a Cactus Compute a Gemini 3.1-ből
A „Simple Attention Network” architektúrára épülő modell a Gemini 3.1 eszközhívási funkcióit képes utánozni, miközben a FunctionGemma-270m-et is felülmúlja.
Egy mindössze 26 millió paraméteres AI-modellt fejlesztett ki a Cactus Compute, amely a Google Gemini 3.1 eszközhívási képességeit desztillálja — írja a Hacker News. A „Needle” nevű modell helyi gépeken, például Mac-en vagy PC-n is finomhangolható, ezzel új lehetőségeket nyitva a fogyasztói eszközökre szánt mesterséges intelligencia terén.
A Needle a Cactus platformon 6000 token/másodperc előtöltési és 1200 token/másodperc dekódolási sebességgel fut. A modell súlyai és az adathalmaz generálásának módja is teljesen nyílt forráskódú a Cactus-Compute/needle GitHub repositoryban. A fejlesztők szerint a Needle kísérleti projekt a Simple Attention Networks számára, célja a „tiny AI” újradefiniálása olyan eszközökön, mint a telefonok, okosórák vagy okosszemüvegek.
A modell szíve: a Simple Attention Network
A modell 16 TPU v6e-n 200 milliárd tokenen (27 óra) előzetes betanításon esett át, majd további 2 milliárd tokenen, egyfunkciós hívási adathalmazon (45 perc) utólagos betanítást kapott. A Needle a személyes AI-alkalmazások egyfunkciós hívásai terén felülmúlja a FunctionGemma-270m, Qwen-0.6B, Graninte-350m és LFM2.5-350m modelleket.
A jövő építőkövei
A fejlesztők webes felhasználói felületet is biztosítanak a modell teszteléséhez és finomhangolásához. A Needle projekt mögött Henry Ndubuaku, Jakub Mroz, Karen Mosoyan, Roman Shemet, Parkirat Sandhu, Satyajit Kumar, Noah Cylich és Justin H. Lee áll, akik a 2026-os publikációjukban részletezik a technológiát a Cactus Compute és a Google Gemini 3.1 kapcsán, 2026. évben.