Háromszor kevesebb memóriát igényelnek az Unsloth új Gemma 4 modellei

Az Unsloth új GGUF formátumokat tett elérhetővé a Gemma 4 modellekhez. A QAT (Quantized Aware Training) technológia akár háromszorosára csökkenti a memóriaigényt, miközben megőrzi a modell minőségét.

A kiadásban szereplő modellek között megtalálhatóak a 12B, 26B, A4B és 31B paraméteres verziók, amelyek mindegyike támogatott az Unsloth Studio által.

Kapcsolódó: Gemma 4 modell

A QAT technológia előnyei

A QAT-variánsok különösen alkalmasak lokális futtatásra, mivel jelentősen csökkentik a szükséges számítási kapacitást. Ez lehetővé teszi a fejlesztők számára, hogy gyorsabban és hatékonyabban dolgozzanak a modellekkel.

Kapcsolódó: Gemma 4 modellcsalád

Elérhetőség és támogatás

A fejlesztők a Hugging Face-en találják meg a Q4_0 minősítésű GGUF fájlokat, amelyek készen állnak a bevetésre. Az Unsloth célja, hogy a felhasználók könnyedén hozzáférjenek a legújabb AI-modellekhez és azok optimalizált változataihoz, például a Gemma 4-hez.

Kapcsolódó: Nvidia Gemma 4

Az Unsloth Studio mostantól támogatja a Gemma 4 modellek futtatását GGUF, MLX és finomhangolási formátumokban, a 12B, 26B, A4B és 31B paraméteres modelleket is beleértve.

Kapcsolódó: Gemma 4 paraméterek