Saját AI-modellt futtathat laptopján — így telepíthet Qwen 3 8B-t

A nagy techcégek egyre inkább korlátozzák a csúcskategóriás AI-modellekhez való hozzáférést, ami a nyílt forráskódú mozgalmat létfontosságúvá teszi az AI demokratizálása szempontjából. Bár a nagy laborok modelljei még mindig jobb teljesítményt nyújtanak, a fejlesztők közössége folyamatosan dolgozik a különbség csökkentésén. Már most lehetőség van nagy teljesítményű modellek futtatására saját laptopon.

Ivo Bernardo kipróbálta, hogyan telepíthető és futtatható teljesen offline a Qwen 3 8B modell egy MacBook Air M4 gépen. A folyamat mindössze néhány órát vett igénybe, és 5 GB lemezterületet foglalt.

Kapcsolódó: GitHub többnyelvű adatok

Miért éri meg saját modellt futtatni?

Bár a felhőalapú modellek gyakran jobb és egyszerűbb megoldást kínálnak, a folyamatos árazási háborúk és a hozzáférés korlátozásának lehetősége miatt a helyi, nyílt forráskódú modellek relevanciája nő. Amikor olyan szolgáltatásokat használunk, mint a Claude vagy a ChatGPT, adatainkat távoli szerverekre küldjük, ahol a hozzáférés bármikor blokkolható. A „digitális szuverenitás” azt jelenti, hogy birtokolhatjuk azt a technológiát, amely legérzékenyebb gondolatainkat dolgozza fel, hasonlóan egy fizikai jegyzetfüzethez. A helyi modell letöltése után semmi sem hagyja el a gépet: nincsenek API-kulcsok, változó szolgáltatási feltételek vagy adatmegőrzési szabályzatok. Ez különösen érzékeny munkák esetén lehet értékes.

Kapcsolódó: LLM betanítási folyamat

A hardver és a specifikációk

A teszt egy MacBook Air M4 gépen történt, 24 GB egységes memóriával és 235 GB szabad tárhellyel. Az Apple Silicon „egységes memóriája” kulcsfontosságú, mivel a CPU és a GPU ugyanazt a memóriát használja, így a neurális hálózati súlyok nem szorulnak lassú adatmozgatásra. Egy 8 milliárdos modell körülbelül 5 GB lemezhelyet foglal és 6 GB memóriát használ betöltve, ami egy 24 GB-os gépen kényelmesen elfér. Kisebb, 1.5B vagy 3B modellek 8 GB-os gépeken is futtathatók, ha bezárjuk a többi alkalmazást.

Kapcsolódó: GPT-5.2 adatjavítás

Az Ollama keretrendszer

Az Ollama egy nyílt forráskódú keretrendszer, amely leegyszerűsíti a helyi AI modellek futtatását. Egyetlen bináris fájlként érkezik, amely tartalmazza az optimalizált modell futtatót (llama.cpp Apple Metal GPU-gyorsítással), egy Docker-stílusú modellregisztert és egy helyi HTTP API-t. A telepítés után csak egy modellt kell letölteni és használni.

Kapcsolódó: IEEE AI képzés

Telepítés és használat

Az Ollama telepítése egyszerű: töltse le a macOS alkalmazást, csomagolja ki, és helyezze az Applications mappába. Ezután a terminálban adja hozzá az Ollama CLI-t a PATH-hoz, indítsa el a szervert, majd töltse le a Qwen 3 8B modellt a `ollama pull qwen3:8b` paranccsal. A modell futtatásához használja a `ollama run qwen3:8b` parancsot, amely interaktív csevegést indít. A modell válaszadása előtt látható a belső gondolatfolyamat, ami a helyi modellek esetében a válaszadási idő jelentős részét teszi ki.

Kapcsolódó: ADAPT általánosítási módszer