A Gemma 3 1B Instruct modell 256 új token generálására képes
A Gemma 3 1B Instruct modellhez a Hugging Face Transformers és a Colab Inference keretrendszerét használják a termelési környezetben való használatra.
A Gemma 3 1B Instruct modellt a Google DeepMind fejlesztette, 1 milliárd paraméterrel, és a Hugging Face Transformers 4.51.0‑től újabb verzióját használják a Colab környezetben.
A tutorial első lépéseiben a felhasználó telepíti a transformers, accelerate, sentencepiece, safetensors és pandas csomagokat, majd a Hugging Face tokennel belép a Hubba. Ezután a kódrészlet a rendelkezésre álló hardvert (GPU vagy CPU) és a bfloat16 vagy float32 precizitást detektálja, majd letölti a google/gemma-3-1b-it modellt és a tokenizer‑t.
Miután a modell betöltődik, a script egy build_chat_prompt függvényt definiál, amely a felhasználói szöveget a Gemma chat‑template‑je szerint formázza. A generate_text függvény a utasítást tokenizálja, majd a model.generate metódussal 256 új tokenig generál, 0,7‑es hőmérséklettel és mintavételezéssel.
Az első tesztben a modell egy 220 tokenes válaszban magyarázza a Gemma 3-at, felsorolja egy gyakorlati felhasználási esetet, egy korlátot és egy Colab tippet. A második lépésben a prompt JSON‑kimenetet kér, amelyben összehasonlítja a helyi és API‑alapú modelleket.
Az eredmények szerint a Gemma 3 1B Instruct képes 256 tokenig generálni, miközben a Colab notebookban akár 8 GB GPU memóriával is fut. A következő lépés: a folyamat beépítése egy valós idejű chatbotba vagy dokumentum‑összefoglaló alkalmazásba, ahol a 256 token limit a válasz méretét szabályozza.