Új sémával kezelik a hosszú kontextusú LLM-ügynökök memóriáját

Új kontextuskezelési sémát mutatott be egy arXiv-tanulmány, amely a hosszú horizontú LLM-ügynökök számára gyakorlatilag korlátlan munkaterületet biztosít. A Context Window Lifecycle (CWL) elnevezésű módszer a hagyományos tömörítési és időrendi adatelhagyási technikákkal szemben strukturált adattárolást alkalmaz, így megőrzi a felhasználói bemeneteket és az ügynök által aktívan feldolgozott kontextust – írja az arXiv.

Strukturált adattárolás a memóriakezelésért

A CWL a kontextustípusok szerint rangsorolva, szemantikailag tudatosan távolítja el az adatokat, amikor a tokenkeret túllépésre kerül. Ez megőrzi a felhasználói interakciókat és az ügynök által feldolgozott exploratív kontextust, miközben agresszíven elveti azokat az akcióepizódokat, amelyek hatásai már bekerültek a környezetbe.

Kapcsolódó: LLM-módszer

Előnyök a hagyományos módszerekkel szemben

A sumarizáción alapuló tömörítéssel szemben a CWL elkerüli a kiszámíthatatlan adatvesztést, a kauzális struktúra elpusztulását, a modellköltségek blokkolását és a kompresszió okozta hallucinációt. A recency truncationnal összehasonlítva a CWL szemantikailag tudatos: a legkorábbi, de a legkönnyebben helyreállítható tartalmat dobja el a függőségi gráfon keresztül, nem pedig a pusztán legkorábbi időpontban érkezett adatokat.

Kapcsolódó: HORIZON teljesítményteszt

Eredmények a gyakorlatban

A kutatók a CWL-t hosszú horizontú ügynöki benchmarkokon értékelték. Egyetlen ügynök 89 egymást követő feladatot teljesített 80 millió token feldolgozása során, mérhető pontosságbeli degradáció nélkül a feladatspecifikus, izolált ülésekhez képest.

Kapcsolódó: Agent-BOM rendszer

A tanulmány az arXiv-on érhető el, a kutatók a CWL módszert 80 millió tokenes munkaterületen tesztelték.

Kapcsolódó: AI-ügynök teszt