ANNEAL: öngyógyító AI-ügynök javítja a hibás folyamatismeretet
A rendszer a folyamatismereti gráfot frissíti, így az ügynökök nem követik el újra ugyanazokat a hibákat, növelve a megbízhatóságot.
Öngyógyító képességgel ruházza fel a LLM-alapú ügynököket az ANNEAL nevű neuro-szimbolikus rendszer, amely a visszatérő hibákat irányított szimbolikus szerkesztésekkel javítja — írja az ArXiv-en megjelent tanulmány.
A meglévő, önevolúciós megközelítések az utasítások, a memória vagy a modell súlyainak frissítésével próbálják orvosolni a problémát, de egyik sem javítja közvetlenül azokat a szimbolikus struktúrákat, amelyek a feladatok végrehajtásának módját kódolják. Az ANNEAL ezzel szemben a folyamatismereti gráfot módosítja anélkül, hogy az alapmodell súlyait megváltoztatná.
Hibavezérelt tudáselsajátítás
A rendszer központi mechanizmusa a Hibavezérelt Tudáselsajátítás (FDKA). Ez a felelős operátor lokalizálásával, majd egy típusos „patch” szintetizálásával működik, amelyet korlátozott LLM generálás hoz létre. A javaslatot többdimenziós pontozással, szimbolikus védőkorlátokkal és kanári teszteléssel validálják a véglegesítés előtt. Minden elfogadott szerkesztés hordoz egy egyedi azonosítót.
Az adaptáció kulcsa
Ez a módszer kritikus, mivel a nagyméretű, szorosan kapcsolt modellek folyamatos és korrekt adaptációja a fejlődő működési szabályok mellett nehézséget okoz. Még a kis szerkesztések is nem lokális és nem nyilvánvaló megvalósíthatósági és optimalitási következményekkel járhatnak — mutat rá egy kapcsolódó kutatás.
Az ANNEAL célja, hogy az AI-ügynökök ne csak egyedi végrehajtási hibákból tudjanak felépülni, hanem a mögöttes folyamatismeret – az operátor sémák, előfeltételek és korlátozások – javításával megakadályozza ugyanazon hibák ismétlődését. A rendszer fejlesztése 2024-ben kezdődött az ArXiv-en megjelent tanulmány szerint.