Új Agent-BOM rendszerrel ellenőrizhetők a LLM-alapú AI-ügynökök biztonsági kockázatai
A rendszer egy hierarchikus, attribútumokkal ellátott irányított gráffal modellezi az ügynöki rendszereket, elkülönítve a statikus képességeket a dinamikus futásidejű szemantikától.
Gyorsan fejlődnek a LLM-alapú ügynöki rendszerek, amelyek dinamikus eszközelhívásokkal, állapotfüggő memóriakezeléssel és többügynökös együttműködéssel hajtanak végre komplex autonóm feladatokat. Ez a szemantika-vezérelt végrehajtási paradigma azonban súlyos szemantikai rést hoz létre az alacsony szintű fizikai események és a magas szintű végrehajtási szándék között, ami alapvetően megnehezíti az utólagos biztonsági auditálást — írja az ArXiv-en megjelent kutatás.
A meglévő reprezentációs mechanizmusok, mint például a statikus szoftver-összetevő listák (SBOM) és a futásidejű naplók, csak töredékes bizonyítékokat szolgáltatnak. Ezek nem képesek rögzíteni a kognitív állapot evolúcióját, a képességkötéseket, az állandó memória szennyeződését és a kaszkádoló kockázat terjedését az interakcióban lévő ügynökök között. Ennek a hiányosságnak az áthidalására javasolták az Agent-BOM-ot, egy egységes strukturális reprezentációt az ügynökök biztonsági auditálásához.
Az átláthatóság fokozása
Az Agent-BOM a statikus képességbázisokat, mint például a modelleket, eszközöket és hosszú távú memóriát, elkülöníti a dinamikus futásidejű szemantikai adatoktól. Ez a megközelítés lehetővé teszi a teljes ügynöki rendszer átfogóbb és biztonságosabb elemzését, mint a korábbi módszerek. Az OpenLLMetry és az Arize Phoenix is hasonló célokat szolgál, de azok inkább a LLM-hívások és ügynöklépések nyomon követésére fókuszálnak, nem pedig a teljes rendszer strukturális reprezentációjára.
A biztonságos működés alapja
A Garak nevű, LLM-ekre és AI-ügynökökre specializált red-teaming keretrendszer például szisztematikusan vizsgálja a modelleket különböző támadási technikákkal, hogy feltárja a sebezhetőségeket, az adatszivárgástól a jailbreak támadásokig. Az Agent-BOM egy alapvetőbb szinten, a rendszer belső működésének gráfreprezentációjával igyekszik megteremteni az auditálhatóságot, ami elengedhetetlen a komplex AI-rendszerek megbízható működéséhez a 2024-es évre tervezett fejlesztések során.