Tízszeres tokenkerettel 25%-kal jobbak az AI-ügynökök — az eddigi tesztek félrevezetőek

A brit AI Safety Institute (AISI) új tanulmánya rávilágít, hogy a jelenlegi AI-tesztek szisztematikusan alábecsülik az AI-ügynökök képességeit, amennyiben korlátozottak a számítási költségvetések. Az AISI kutatói hét különböző teljesítményteszten teszteltek csúcskategóriás modelleket, eltérő számítási keretekkel. Az eredmények szerint az AI-ügynökök teljesítménye egy görbét követ, amely emelkedik a tesztidő alatt rendelkezésre álló feldolgozási teljesítménnyel.

Számítási kapacitás és teljesítmény

A több számítási kapacitás szinte minden területen jobb eredményeket hoz. A kiberbiztonsági feladatoknál az esetek körülbelül 8%-a csak akkor oldódott meg, ha a keret meghaladta a 10 millió tokent, egyes esetekben pedig 50 millió tokenre volt szükség. Az újabb modellek 100 millió token felett még magasabb pontszámokat értek el. A szoftverfejlesztési feladatoknál (TerminalBench 2.0, SWE-Bench Pro) a sikerráta mintegy 25%-kal ugrott meg, amikor a tokenkeret 1 millióról 10 millióra nőtt. A matematikai és tudományos feladatoknál (Humanity's Last Exam) a növekedés nagyjából 22% volt 5 millió tokenig terjedő keretig.

Kapcsolódó: AI benchmark hibák

Határterületek és korlátozások

Az extra számítási kapacitás nem minden területen segít egyformán. A HealthBench nevű orvosi teljesítményteszten minden modell elérte platóját a standard kereten belül. Az AISI szerint a több számítási kapacitás ott segít a legtöbbet, ahol az ügynökök ellenőrizni tudják saját munkájukat, például kód futtatásával vagy egy exploit tesztelésével. Kevésbé mozdítja el a tűt ott, ahol hiányzik vagy késik a visszajelzés.

Kapcsolódó: AI ügynökök teljesítménye

Egy másik fontos megfigyelés, hogy az emberi szakértő által egy feladat elvégzéséhez szükséges idő arányos az ügynök tokenfelhasználásával. A METR kutatóintézet 211 szoftverfejlesztési és 78 AISI által végzett kiberbiztonsági feladatánál ez a kapcsolat egy hatványfüggvényt követ. A rögzített értékelési keret ezért levágja a leghosszabb és legnehezebb feladatokat. A sikertelenség azt jelentheti, hogy a keret volt túl szűk, nem pedig azt, hogy az ügynöknek hiányzott a képessége.

Kapcsolódó: Tokenköltségek növekedése

Az újabb modellek a vártnál jobban profitálnak a megnövelt számítási kapacitásból. A képességgörbe minden új generációval felfelé tolódik, és három tengelyen változik: hatótávolság (nehezebb feladatok válnak megoldhatóvá), megbízhatóság (ugyanazt a feladatot gyakrabban oldják meg), és hatékonyság (ugyanaz a feladat kevesebb tokent igényel). Egy jelenlegi csúcskategóriás modell időhorizontja 2,5 millió tokenes keretnél 40 percről 50 millió tokennél körülbelül négy órára nőtt. Az AISI becslései szerint a keret megválasztása befolyásolja a haladás ütemét; magasabb keretek mellett a fejlődés sokkal gyorsabbnak tűnik.

Kapcsolódó: AI tudásmunka képessége

Az AISI szerint a legfontosabb tanulság a mérés módjában rejlik. Ha a képességeket a számítási kapacitás függvényében görbeként kezeljük ahelyett, hogy fix pontszámként tekintenénk rájuk, folyamatosan meglepődni fogunk azokon a képességeken, amelyeket ezek a rendszerek képesek megmutatni, ha többet költenek rájuk. Az AISI most több különböző kerettel futtatja a csúcskategóriás modelleket, hogy meghatározza a „minimálisan informatív kereteket”.

Kapcsolódó: AI iOS app kísérlet