Böngészőbe költözött a Google Gemma 4 AI modellje

A kísérleti Gemma Gem nevű Chrome-bővítmény a Google Gemma 4 modelljét integrálja közvetlenül a böngészőbe — írja a Hacker News. Ez a megoldás lehetővé teszi, hogy a felhasználók API-kulcsok vagy felhőszolgáltatások nélkül futtassák az AI-t.

A bővítmény a WebGPU technológiát használja, így a modell teljes egészében a felhasználó gépén működik. Ez garantálja, hogy semmilyen adat nem hagyja el az eszközt, ami jelentősen növeli az adatvédelmet és a biztonságot. A Gemma Gem képes weboldalak olvasására, gombok kattintására, űrlapok kitöltésére, JavaScript futtatására, és kérdések megválaszolására bármely meglátogatott oldalról.

Az átláthatóság fátyla

A modell futtatásához Chrome böngészőre és WebGPU támogatásra van szükség. Tárhelyigénye modelltől függően 500 MB (E2B) vagy 1,5 GB (E4B), melyet az első futtatás után gyorsítótáraz. A telepítés után a felhasználóknak csak a böngésző jobb alsó sarkában megjelenő ikonra kell kattintaniuk a csevegés elindításához.

A mesterséges intelligencia színpada

A Gemma Gem architektúrája egy offscreen dokumentumon keresztül futtatja a modellt a @huggingface/transformers könyvtár és a WebGPU segítségével. Egy service worker kezeli az üzenetek útválasztását a tartalom szkriptek és az offscreen dokumentum között, míg a tartalom szkript befecskendezi a csevegő felületet és végrehajtja a DOM-eszközöket, mint például az oldal tartalmának olvasását vagy az elemekbe való gépelést. A fejlesztők a Gemma 4 E2B és E4B modelleket 2024. március 15-én tesztelték.