GPU nélkül is gyors a Google Gemma-4-26B-A4B
A modell gyorsan fut CPU-n, 32 GB RAM-mal és egy Intel i5-8500 processzorral. A CPU-s futtatáshoz a -DGGML_CUDA=ON paramétert -DGGML_CUDA=OFF-ra kell változtatni.
A Google Gemma-4-26B-A4B modell futtatható CPU-n GPU nélkül — közölte egy Redditező a LocalLLaMA alreddit-en. A felhasználó egy Intel i5-8500 processzort és 32 GB RAM-ot használt a modell futtatásához.
A llama.cpp fordítási utasításai szerint a GPU-s futtatáshoz szükséges -DGGML_CUDA=ON paramétert -DGGML_CUDA=OFF-ra kell változtatni a csak CPU-s infereciához. A legkisebb Gemma 4 modell futtatásához legalább 4 GB RAM szükséges.
Kapcsolódó: Raspberry Pi 5
A modell futtatásának feltételei
A Google AI for Developers oldala szerint a modell súlyaihoz szükséges memória nem tartalmazza a futtatáshoz szükséges további VRAM-ot vagy a kontextusablak memóriáját. A modellhez szükséges memória mérete 32 GB.
Kapcsolódó: AMD GPU teszt
A modell teljesítménye
A modell gyorsan fut a CPU-n, bár a pontos teljesítményadatok nem ismertek. A modell futtatásához használt Intel i5-8500 processzor órajele 3 GHz.
Kapcsolódó: DeepSeek R1