Az AI-ügynökök amnéziáját gyógyítja a ReasoningBank — tanul a hibákból is
A jelenlegi AI-ügynökök gyakran „emlékezetkiesésben” szenvednek, ami miatt újra és újra elkövetik ugyanazokat a hibákat, de a ReasoningBank ezt a problémát orvosolja azáltal, hogy a „miért” mögé is betekint.
A legtöbb mai AI-ügynök alapvető amnéziában szenved: minden feladathoz úgy közelít, mintha még sosem látott volna hasonlót. Hiába botlott meg már sokszor ugyanabban a problémában, újra és újra megismétli ugyanazokat a hibákat, a tanulságok pedig elpárolognak a feladat végén. Ezen változtatna a ReasoningBank, egy új memóriakeretrendszer, amely a Google Cloud AI Research, az University of Illinois Urbana-Champaign és a Yale University kutatói szerint képes desztillálni az érvelési stratégiákat az ügynökök sikereiből és kudarcaiból — írja a MarkTechPost.
A ReasoningBank nem csupán azt rögzíti, hogy mit tett egy ügynök, hanem azt is, hogy miért működött valami, vagy miért hibázott, így általánosítható stratégiákat desztillál. Ezzel kiküszöböli a korábbi memóriamegoldások, például a „trajectory memory” (Synapse) és a „munkafolyamat memory” (Agent munkafolyamat Memory, AWM) korlátait.
A memória emlékezete
A trajectory memory nyers tevékenységi naplókat tárol, amelyek zajosak és túl hosszúak ahhoz, hogy közvetlenül hasznosak legyenek új feladatokhoz. A munkafolyamat memory egy lépéssel tovább megy, és csak a sikeres futtatásokból von ki újrafelhasználható, lépésről lépésre haladó eljárásokat. Ez azonban azt jelenti, hogy a kudarcokból származó gazdag tanulási jelek – márpedig az ügynökök sokat hibáznak – teljesen elvesznek. A ReasoningBank éppen ezt a hiányosságot pótolja, mivel a hibákból is képes tanulni.
Az emlékezet kútja
A ReasoningBank egy zárt hurkú memóriafolyamatként működik, három szakaszban minden elvégzett feladat körül: memória-lekérés, memória-kivonatolás és memória-konszolidáció. Mielőtt egy ügynök új feladatba kezdene, a ReasoningBankből lekéri a legrelevánsabb memóriaelemeket, amelyeket további kontextusként injektál az ügynök rendszerpromptjába. Fontos, hogy alapértelmezetten csak egy memóriaelem kerül lekérésre feladatonként, mivel a kutatók szerint a több memória lekérése rontja a teljesítményt.
A feladat befejezése után egy memória-kivonatoló elemzi a végrehajtott lépéseket, és strukturált memóriaelemeket desztillál belőle. Ezek az elemek címet, leírást és tartalmat (1-3 mondatnyi desztillált érvelési lépést vagy operatív betekintést) tartalmaznak. A kivonatoló a sikeres és sikertelen végrehajtásokat eltérően kezeli: a sikerek validált stratégiákat adnak, míg a kudarcok ellenpéldákat és megelőző tanulságokat szolgáltatnak.
Az új memóriaelemeket ezután közvetlenül a ReasoningBank tárolójához fűzik, amely JSON formátumban, előre kiszámított embeddingekkel van fenntartva a gyors koszinusz-hasonlósági kereséshez, ezzel zárva a hurkot. A kutatócsoport a memóriát tesztidőbeli skálázással (MaTTS) is párosítja, ami tovább javítja az ügynökök tanulási képességét, különösen a WebArena és Mind2Web benchmarkokon. A ReasoningBank 2024-ben várhatóan elérhető lesz a Google Cloud AI Research platformon.