DeepMind: Pointer Engineering

A DeepMind "Pointer Engineering" néven új módszert fejleszt, amely az egérkurzort az AI-alapú kontextusmérnökség kulcsfontosságú változójává tenné — írja a The Decoder. A kutatók, Adrien Baranes és Rob Marchant szerint az AI-eszközök eddig a saját ablakukban éltek, és a felhasználóknak kellett "belehúzniuk a világukat" a modellekbe; a DeepMind ennek az ellenkezőjét szeretné elérni.

A hagyományos, pontos promptokra támaszkodás helyett a Gemini-alapú mutató a kurzor körüli vizuális és szemantikai kontextust rögzíti. Ez lehetővé teszi a felhasználók számára, hogy "Javítsd ezt" vagy "Mozgasd ide" típusú rövid parancsokkal dolgozzanak, beszéddel és gesztusokkal kombinálva. A DeepMind szerint a pixelek "strukturált entitásokká" válnak, mint például helyek, dátumok vagy objektumok.

A technológia alapelvei már beépülnek a Gemini-be a Chrome böngészőben, ahol a felhasználók kijelölhetnek egy weboldalrészletet, és közvetlenül kérdezhetnek róla. A közelgő Googlebookon a funkció "Magic Pointer" néven fog megjelenni.

Bár ez a megközelítés nem váltja fel a prompt engineeringet, mivel a komplexebb feladatok továbbra is pontos leírásokat igényelnek, jelentősen egyszerűsíti a mindennapi, chat-szerű interakciókat az AI-modellekkel. A DeepMind szerint a módszer elsősorban a rövid, mindennapi interakciókat teszi gördülékenyebbé azáltal, hogy csökkenti a modellnek átadandó kontextus megadásához szükséges erőfeszítést.