Vállalati AI-ügynökök: 48,3%-os szabályozási lefedettséget hozott az új ellenőrzőrendszer
Az új, ontológián alapuló ellenőrzőrendszer 48,3%-os szabályozási lefedettséget ért el, ami jelentős előrelépés a korábbi, 33,1%-os eredményekhez képest.
A vállalati AI-ügynökök bevetése előtt álló kritikus ellenőrzési hiányosságot célozza meg egy új, ontológián alapuló keretrendszer. A kutatók szerint a jelenlegi modellek képességeinek tesztelése és a valós termelésbe állításuk között még mindig nagy a szakadék, az utólagos felügyelet és a prompt-szintű korlátok pedig korlátozott biztonságot nyújtanak.
Az új keretrendszer felépítése
Az új megközelítés három fő részből áll: egy Agent Operational Envelope, amely formalizálja a tanúsítási teret a jogosultságok, domain-korlátok, biztonsági tulajdonságok, irányítási szabályok és autonómiaszintek tekintetében; egy ontológiából forgató forgatókönyv-generáló csővezeték, amely automatikusan származtatja a szabályozási, működési és ellenséges teszteseteket; valamint egy Trust Certificate, amely gépileg ellenőrizhető igazolást tartalmaz, fokozatos bevetési ítéletekkel (Jóváhagyott, Feltételes, Elutasított).
Kapcsolódó: AI-ügynökök szabályozása
Eredmények és összehasonlítás
Egy négy szabályozott iparágban (Fintech, Bank, Biztosítás és Egészségügy) végzett, ellenőrzött kísérlet során az ontológián alapuló generálás 48,3%-os szabályozási lefedettséget ért el. Ez jelentősen meghaladja a személyiség-alapú alapvonal 33,1%-os teljesítményét. A kutatás, amelyet az arXiv-en publikáltak előnyomtatott formában, a Claude Sonnet 4, Qwen 2.5 72B és Gemma 4 26B modelleket használta, összesen 5400 forgatókönyvvel. Az eredmények megerősítik az ontológián alapuló forgatókönyv-generálás létjogosultságát a szabályozás-intenzív területeken.
Kapcsolódó: szintetikus adatok
Az előnyök ellenére a lefedettségi előny robusztussága a Bonferroni-korrekció után nem volt egyértelmű. A kutatók 125 elsődleges szabályozási követelményt és 25 beillesztett hibát vizsgáltak, 1800 forgatókönyvet generálva. A modell magas, 4,77/5,0-s domain-specifikusságot is mutatott. A kutatás végén a Claude Sonnet 4 modell 92,5%-os átlagos teljesítményt ért el a tesztkészleten.
Kapcsolódó: decentralizált AI