AI ügynökök tokenköltsége 3500-szorosára nőhet — átláthatatlan az árképzés

Az AI ügynökök bevezetése számos kihívást tartogat, de a legkevésbé feltárt probléma a költségek kiszámíthatatlansága. Az University of Michigan és együttműködő intézmények új tanulmánya szerint az OpenAI, a Google és az Anthropic jelenlegi árlistái nem adnak valós képet arról, mekkora lesz a végső számla egy adott probléma megoldásakor — írja a ZDNET.

A Longju Bai vezette kutatás, amelyben a Stanford University, az All Hands AI, a Google DeepMind, a Microsoft és a MIT szakértői is részt vettek, az első szisztematikus elemzés az AI ügynökök tokenfogyasztásáról. A tanulmányt az arXiv előnyomtatott szerverén tették közzé, és Erik Brynjolfsson, a Stanford neves közgazdásza is jegyzi, aki sokat foglalkozik az AI termelékenységre gyakorolt hatásával. A legfőbb megállapítás, hogy az ügynökök nagyságrendekkel több tokent fogyasztanak, mint az egyszerű, prompt alapú csevegések, például egy ügynök akár 3500-szor több tokent is felhasználhat, mint egy ChatGPT-vel folytatott kör.

Az átláthatatlan árképzés labirintusa

Bár az ügynököktől elvárható a magasabb tokenfogyasztás, a tanulmány riasztóbb tényeket is feltár. Két különböző AI modell ugyanazon feladat esetén is drasztikusan eltérő tokenköltségekkel dolgozhat. Sőt, ugyanaz a modell is kétszer annyi tokent használhat fel ugyanazon probléma megoldására, ha többször futtatják. Bai és csapata szerint az ügynökök nem tudják megbízhatóan megbecsülni, hány tokent fognak végül felhasználni egy adott feladathoz.

A tokenfelhasználás sziklája

A kutatók kiemelték, hogy a „ügynöki feladatok egyedülállóan drágák”, és a tokenfelhasználás puszta skálázása nem feltétlenül vezet jobb végrehajtási teljesítményhez. Az AI modellek szisztematikusan alábecsülik a szükséges tokenek számát, és a növekvő költségeket, valamint a siker bizonytalanságát a jelenlegi árlisták nem tükrözik.

A költségek vizsgálatához Bai és csapata az OpenHands nevű nyílt forráskódú ügynöki AI rendszert használta, amelyet az University of Illinois Urbana-Champaign kutatói fejlesztettek ki. Ezzel a rendszerrel építettek ügynököket, amelyeket a SWE-Bench nevű nyílt forráskódú kódolási teljesítményteszt teszten vizsgáltak. A SWE-Bench feladatai valós GitHub problémákból származnak.

A tanulmány szerint a modellek következetesen alábecsülik a szükséges tokenek számát, különösen a bemeneti tokenek esetében, amelyek előrejelzései alacsonyak maradnak, még akkor is, ha a valós értékek milliókra nőnek. A bemeneti tokenek, mint például az emberi felhasználó által beírt adatok vagy az adatbázis-keresésekből származó információk, dominálják a költségeket. A kutatás rávilágít, hogy az ügynökök még akkor sem tudják pontosan megbecsülni a tokenköltségeket, ha erre kérik őket, ami alapvetően megnehezíti az ügynökök árképzését és a költségek előrejelzését a valós alkalmazásokban. A Stanford University és az MIT szakértői 2024. március 15-én teszik közzé a részletes eredményeket.