A Memento-Skills maga írja át a saját képességeit, nem kell betanítani
A több egyetem kutatói által fejlesztett Memento-Skills rendszer a GAIA teljesítményteszt során 13,7 százalékponttal javította a teszteredmények pontosságát egy statikus alapmodellhez képest.
A Memento-Skills lényege, hogy a rendszer folyamatosan képes fejleszteni saját képességeit anélkül, hogy az alapjául szolgáló LLM-et újra kellene tanítani — írja a VentureBeat. A keretrendszer külső memóriaként működik, és a környezetből érkező visszajelzések alapján dinamikusan alakítja tudásbázisát.
Az önfejlesztő ágensek kulcsfontosságúak, mert feloldják a „befagyott” nyelvi modellek korlátait. Egy betanított modell paraméterei rögzítettek, tudása a betanítás során kódolt információkra és az azonnali kontextusra korlátozódik. Egy külső memóriarendszer lehetővé teszi a modell számára, hogy drága és lassú újratanítás nélkül fejlődjön, ellentétben a manuális finomhangolással, ami jelentős működési terhet ró a vállalatokra.
A Memento-Skills a korábbi megközelítések hiányosságait orvosolja. Míg a hagyományos RAG-rendszerek gyakran csak szemantikai hasonlóság alapján keresnek releváns tudást, ami félrevezető lehet, a Memento-Skills egy speciális „skill routert” használ. Ez biztosítja, hogy a viselkedésileg leginkább releváns képesség kerüljön kiválasztásra, nem csupán a szövegesen hasonló.
Önfejlődő képességtár
A kutatók a rendszert „egy általános, folyamatosan tanuló LLM ágensrendszerként” írják le, amely „ágens-tervező ágensként” funkcionál. A Memento-Skills nem passzív naplóként tárolja a korábbi beszélgetéseket, hanem strukturált markdown fájlok formájában hoz létre és frissít képességeket. Ezek a fájlok három fő elemet tartalmaznak: deklaratív specifikációkat a képesség leírásáról, speciális utasításokat a LLM számára, valamint futtatható kódot és segédprogramokat a feladatok elvégzéséhez.
A folyamatos tanulást a „Read-Write Reflective Learning” mechanizmus biztosítja. Amikor az ágens új feladattal szembesül, a skill router lekéri a legmegfelelőbb képességet, majd végrehajtja azt. A végrehajtás után a rendszer reflektál az eredményre, és ha a végrehajtás sikertelen, egy orchestrator újraírja a skill műtermékeket, vagy teljesen új képességet hoz létre. A rendszer automatikus egységtesztekkel biztosítja, hogy a módosítások ne okozzanak regressziót.
A Memento-Skills teljesítményét két teljesítményteszten is értékelték. A GAIA-teszten, amely komplex többlépcsős érvelést, multimodalitást és eszközhasználatot igényel, a rendszer 13,7 százalékponttal javította a pontosságot egy statikus alapmodellhez képest, elérve a 66,0%-ot. A HLE (Humanity’s Last Exam) teljesítményteszten, amely nyolc tudományos területet ölel fel, a rendszer több mint duplájára növelte az alapmodell 17,9%-os teljesítményét, 38,7%-ra.
A kutatók megfigyelték, hogy a Memento-Skills organikus, strukturált képességnövekedéssel éri el ezt a teljesítményt. A GAIA teljesítményteszten az ágens öt kezdeti képességből 41-et fejlesztett ki, míg a HLE teljesítményteszten 235 különálló képességre bővítette könyvtárát.