Hao Zhu: 2 AI-ügynök

Egyszerűnek tűnhet: ha egy AI-ügynök képes kódot írni, kettő együtt még jobb eredményt érhet el. A valóság azonban mást mutat. A Stanford kutatói által nemrég bemutatott „CooperBench” tanulmány szerint a két együttműködő AI-modell teljesítménye valójában élesen visszaesik, ami kritikus hiányosságot tár fel a mesterséges intelligencia képességeiben. „Ez a koordináció átka” — mondta Hao Zhu, a Stanford posztdoktori kutatója és a tanulmány első szerzője. A kutatásból kiderül, hogy a legjobb kódoló AI-k teljesítménye csaknem felére csökken, amikor párosítják őket a munka megosztására.

Diyi Yang, a tanulmány vezető szerzője és a Stanford számítástechnika professzora szerint a szociális intelligencia, nem pedig a kódolási készség a kulcsfontosságú szűk keresztmetszet az AI együttműködésében. Az emberi szoftvercsapatoknál a felelősségmegosztás, a haladás kommunikálása, a kiegészítő munkavégzés és a csapattársak munkájának ellenőrzése mind alapvető készségek. Ezek a képességek jelenleg hiányoznak az AI-ból. A modellek nyelvi tudása ellenére nem használják azt szociális cselekvésre, így nem rendelkeznek a megbízható együttműködéshez szükséges koordinációs képességekkel.

Kapcsolódó: AI ügynökök szerepe

A kutatók több mint 650 valós szoftverfejlesztési feladatot hoztak létre, amelyekhez két ügynöknek kellett együttműködnie Python, TypeScript, Go vagy Rust nyelveken. A feladatokat kifejezetten a konfliktusok potenciálja miatt választották, hogy teszteljék a stratégiai átfedést. Mindegyik ügynök képes volt kódot szerkeszteni, helyi parancsokat futtatni, és valós időben üzenetet küldeni a másiknak. Az így létrejött kódokat összeolvasztották és értékelték, de az AI-k nem teljesítettek jól. A szerzők ezt „koordinációs szakadéknak” nevezik, amely különösen a közepes nehézségű feladatoknál mutatkozott meg, ahol a két ügynöknek a legnagyobb esélye lett volna a sikerre.

Kapcsolódó: Nvidia robotvezérlés

A kutatók meglepetésére az ügynökök közötti valós idejű kommunikáció szinte semmilyen hatással nem volt az eredményekre. Az egyik példában Agent A figyelmezteti Agent B-t egy lehetséges merge-konfliktusra, de Agent B figyelmen kívül hagyja a figyelmeztetést, és felülírja Agent A kódját. Ahelyett, hogy a nyelvi képességek javítanák a koordinációt, gyakran elfedték a hibákat. A kutatók más szociális problémákat is megfigyeltek, mint például ismétlődő, alacsony értékű státuszfrissítések megosztása, a közvetlen kérdések megválaszolatlanul hagyása és az ígért feladatok elmaradása.

Kapcsolódó: AutoTTS fejlesztés

A kutatók szerint a probléma megoldható, de nem jobb promptokkal. Az AI-t együttműködésre kell tanítani, hasonlóan ahhoz, ahogyan az embereket is arra képezik az iskolában. Ez egy másfajta szociális intelligenciát igényel, amellyel az AI még nem rendelkezik. Javasolják, hogy hozzanak létre olyan AI-képzési célokat, amelyek jutalmazzák a koordinációt, és fejlesszenek új mechanizmusokat az ügynökök elkötelezettségeinek ellenőrzésére. Emellett javasolják a kommunikációs csatornák erősítését képernyőmegosztással és más technikákkal. „A CooperBenchben megtanultuk, hogy bár az AI-ügynökök úgy beszélnek, mint az emberek, még sokat kell tanulniuk arról, hogyan működik a nyelv egy szociális kontextusban” — zárta Zhu.

Kapcsolódó: Ügynök architektúra