A Google Gemma 4 átírja a helyi AI-t: LM Studio CLI-vel még a MacBook Pro is szárnyal
A LM Studio legújabb, 0.4.0-s verziója már fej nélküli CLI-vel is futtatható, így a Google Gemma 4 modellje könnyen integrálható CI/CD folyamatokba és SSH-munkamenetekbe is.
A Google a Gemma 4-et nem egy, hanem négy modellből álló családként mutatta be, amelyek különböző hardvercélokat szolgálnak. A „E” modellek (E2B, E4B) a Per-Layer Embeddings technológiát használják az eszközön történő telepítés optimalizálására, és ezek az egyetlen változatok, amelyek támogatják az audiobemenetet, például a beszédfelismerést és fordítást — írja a Hacker News.
A 26B-A4B jelölésű változat a Mixture-of-Experts (MoE) architektúrára épül. Ez azt jelenti, hogy 128 szakértőből és 1 megosztott szakértőből áll, de tokentől függően csak 8 szakértő, azaz 3,8 milliárd paraméter aktiválódik. Ez a kialakítás lehetővé teszi, hogy a modell a 4 milliárd paraméteres sűrű modellekhez hasonló számítási költséggel működjön, miközben a minősége jóval meghaladja ezt a kategóriát.
A teljesítményteszt teszteken a 26B-A4B modell 82,6%-ot ért el a MMLU Pro és 88,3%-ot az AIME 2026 méréseken. Ez közel áll a 31 milliárd paraméteres sűrű modell 85,2%-os és 89,2%-os eredményéhez, miközben drámaian gyorsabban fut. Egy MacBook Pro M4 Pro gépen, 48 GB egyesített memóriával, 51 token/másodperc sebességgel generál.
A mesterséges intelligencia szárnyalása
A LM Studio 0.4.0-s verziója alapjaiban változtatta meg az architektúrát a llmster bevezetésével. Ez a lényegében a desktop alkalmazásból kivont és önálló szerverként csomagolt inference motor. Az eredmény: a LM Studio már teljes mértékben futtatható parancssorból a lms CLI segítségével, grafikus felület nélkül.
Integráció és hatékonyság
Ez a képesség lehetővé teszi a modell használatát fej nélküli szervereken, CI/CD folyamatokban, SSH-munkamenetekben, vagy azoknak a fejlesztőknek, akik a terminálban szeretnének maradni. A LM Studio újdonságai közé tartozik a háttérben futó llmster démon, a parancssori felület (lms CLI) a modellek letöltésére, betöltésére és kiszolgálására, valamint a párhuzamos kérésfeldolgozás, amely több kérést is képes egyidejűleg kezelni ugyanahhoz a modellhez.
A Gemma 4 26B modell telepítése egyszerű: a lms CLI használatával egyetlen paranccsal letölthető a „google/gemma-4-26b-a4b” változat. A CLI alapértelmezetten a Q4_K_M kvantizációt választja, amely 17,99 GB méretű. A Gemma 4 modell 2024. április 15-én vált elérhetővé.