A PhoneHarness 12,9 százalékponttal jobb a korábbi mobilügynöknél

Valós mobilfeladatok elvégzésére alkalmas ügynököket tesztel a PhoneHarness nevű új keretrendszer. A korábbi értékelési módszerekkel szemben, amelyek főként a képernyőn végzett interakciókra koncentráltak, a PhoneHarness a grafikus felület (GUI), a parancssori felület (CLI) és strukturált eszközök együttes használatát vizsgálja.

A kutatók szerint a valódi mobilhasználat ennél sokkal összetettebb: döntenie kell az ügynöknek, mikor használja az appok felületét, mikor a rendszerszintű parancsokat, vagy mikor az API-hívásokat. Fontos továbbá, hogy a feladat elvégzése látható nyomot hagyjon, igazolva a kívánt mellékhatás bekövetkeztét.

Kapcsolódó: LLM-teszt

A PhoneHarness működése

A PhoneHarness egy eszközoldali ügynöklétrehozási hurkot futtat, amely egyesíti a GUI-vezérlést, a CLI-parancsokat és a gazdagép-oldali eszközök hívásait. Ez a megközelítés determinisztikus útválasztást, korlátozott GUI-delegálást és auditálható végrehajtási nyomokat kombinál.

Kapcsolódó: AI-ügynökök eszköztudása

A teljesítményteszt eredményei

A PhoneHarness Bench nevű teljesítményteszten az ügynökök nem csupán a végeredményt, hanem a megfigyelhető mellékhatásokat is produkáló feladatok elvégzését bizonyítják. Az értékelés során a PhoneHarness 75,0%-os teljesítménnyel zárt, ami 12,9 százalékponttal jobb eredmény a legjobb nem PhoneHarness beállításoknál — írja az arXiv-en megjelent tanulmány.

Kapcsolódó: AI-interfész

A keretrendszer és a teljesítményteszt megkülönböztetett, de egymástól függő szerepet játszik: a harness teszi lehetővé a vegyes mobilmunkafolyamatok végrehajtását, míg a teljesítményteszt méri, hogy az ügynökök megbízhatóan és biztonságosan tudják-e használni azt.

Kapcsolódó: AI-figyelmi teszt

Az eredmények arra utalnak, hogy a megbízható mobilautomatizálás a vizuális GUI-vezérlésen túl az akciófelület-útvonalválasztáson és a hitelesíthető végrehajtáson múlik. A PhoneHarness a 75%-os feladatvégrehajtási arányt az arXiv-en megjelent tanulmányban érte el, 2026-ra vonatkozó adatok alapján.

Kapcsolódó: Emergence WebVoyager