ÉlőUtoljára: 2 órájaMa: 15
Modellek & LLMfrissítve: 01:30

Google Gemma 4 modellek 2-bites QAT-tal optimalizálva — mobilra és laptopra készülnek

A Google új Gemma 4 modelljei 2-bites QAT-val készültek, hogy csökkentsék a memóriaigényt. A Gemma-4-E2B-it és Gemma-4-E4B-it modellek mobilkészülékekre optimalizálva lettek.

Google Gemma 4 modellek 2-bites QAT-tal optimalizálva — mobilra és laptopra készülnek
Fotó: Hrushi Chavhan / Unsplash
forrás: Reddit LocalLLaMA·AI Forradalom szerk.·
Megosztás

A Google új Gemma 4 modellcsaládja Quantization-Aware Training (QAT) technikával optimalizált verziókat kapott. A cél a memóriaigény drasztikus csökkentése és a mobil, illetve laptopos teljesítmény maximalizálása.

A Gemma 4 modellek QAT-optimalizált változatai, mint a Gemma-4-E2B-it és Gemma-4-E4B-it, különösen mobilkészülékekre készültek. Ezeket a modelleket a llama.cpp kompatibilis formátumra is átalakították, miközben szinte teljes pontosságukat megőrizték.

Kapcsolódó: Macbook Pro rekord

A QAT-megközelítés lehetővé teszi a modellek méretének és számítási igényének csökkentését, ami kulcsfontosságú a korlátozott erőforrásokkal rendelkező eszközökön való futtatáshoz. A Google AI által generált tartalom szerint ez az optimalizálás a mobil és laptop hatékonyságot célozza.

Kapcsolódó: TurboQuant sebesség

Forrás

Feldolgozott sajtóforrás·Reddit LocalLLaMA

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

Támogatom