Gemini 3.5 Flash látja és vezérli a képernyőt – vállalati garanciákkal

A Google beépítette a képernyővezérlési képességet a Gemini 3.5 Flash modellbe, amely korábban különálló Gemini 2.5 computer-use modellként volt elérhető. Az új funkció lehetővé teszi az AI-ügynökök számára, hogy lássák a képernyőt, kattintsanak, gépeljenek és görgessenek böngészőkben, mobil eszközökön és asztali számítógépeken. A képesség mostantól natív eszközként érhető el a Gemini API-n és a Gemini Enterprise Agent Platformon (a Vertex AI átnevezett változata) keresztül. A fejlesztés azt jelenti, hogy a fejlesztőknek már nem kell külön hívniuk egy dedikált képernyővezérlő modellt a grafikus felületekkel interakcióba lépő ügynökök létrehozásához. Ehelyett a Flash-en belül aktiválhatják a képernyőhasználatot más eszközök, például kódfuttatás, keresés és függvényhívások mellett – írja a TNW.

Mateo Quiros termékmenedzser szerint az integráció révén a Flash képes lesz látni, értelmezni és cselekedni a képernyőkön. A Google először 2025 októberében adott ki egy önálló Gemini képernyővezérlő modellt, amelyet kifejezetten böngészőalapú ügynök-munkafolyamatokhoz terveztek. Az a modell nagyjából 70 százalékos pontosságot ért el az Online-Mind2Web teljesítményteszten, és egy képernyőfelvétel-akció ciklus köré épült, ahol a fejlesztők bevitelként megadták a képernyőképet, struktúrált parancsot kaptak, végrehajtották azt, és visszaküldték az aktuális nézetet. A képesség beépítése a Flash-be egy kétmodellből álló munkafolyamatot konszolidál egyetlen modellbe.

Kapcsolódó: Google Home Gemini frissítés

Vállalati automatizálás és biztonság

A Google szerint az új képesség túlmutat a chatbotokon, lehetővé téve a folyamatos szoftvertesztelést, ahol az ügynökök emberi tesztelők beavatkozása nélkül navigálhatnak az alkalmazásokban és ellenőrizhetik a funkciókat. Az ismeretmunkások ügynökökkel végezhetnének több lépésből álló böngészési feladatokat, űrlapokat tölthetnének ki, adatokat extrahálhatnának műszerfalakról, vagy navigálhatnának belső eszközökön. A biztonsági architektúra kulcsfontosságú a Google számára. A vállalat közölte, hogy célzott adversariális képzést alkalmazott kifejezetten a promptinjekciók elleni védelemre, amely támadási forma rosszindulatú utasításokkal próbálja meg manipulálni az AI-ügynököket.

Kapcsolódó: több lépéses parancsok Gemini

A Google két opcionális vállalati biztonsági funkciót kínál az alapmodell mellé. Az első explicit felhasználói megerősítést kér, mielőtt az ügynök érzékeny vagy visszafordíthatatlan műveletet hajtana végre, például űrlap beküldése, vásárlás vagy adat törlése. A második automatikusan leállítja az ügynököt, ha közvetlen promptinjekciós kísérletet észlel. Mindkét biztonsági funkció opcionális, nem alapértelmezett.

Kapcsolódó: Gemini autókban

Verseny és elérhetőség

A Google az Anthropic Claude Computer Use és az OpenAI megoldásaival versenyez ezen a területen. Míg az Anthropic megoldása operációs rendszereken működik és fájlrendszerekkel is képes interakcióba lépni, a Google új Flash integrációja a képernyőre korlátozódik. A Gemini Enterprise Agent Platformon keresztül elérhető eszköz a Gemini 3.5 Flash modellt használja, amely a Google kínálatában olcsóbb modellek közé tartozik, így potenciálisan megfizethetőbbé teheti a nagyméretű automatizálást. A Google nem tett közzé frissített teljesítményteszt pontszámokat a beépített képernyővezérlő eszközről, és nem hozott nyilvánosságra konkrét ügy esettanulmányokat. A Google szerint a célzott adversariális képzést a promptinjekciók ellen alkalmazták, de ezt nem támasztják alá publikált kutatások vagy red-team eredmények. A Gemini 3.5 Flash modell már elérhető a Gemini API-n és a Gemini Enterprise Agent Platformon keresztül.

Kapcsolódó: Volvo EX60 Gemini