A Microsoft új eszköze az AI-ügynökök runtime biztonságát szavatolja
A techóriás a „Agent Governance Toolkit” nevű nyílt forráskódú projektet a MIT licenc alatt tette elérhetővé, amely a LangChain és AutoGen keretrendszereken is működik.
A Microsoft nyílt forráskódú eszközkészlete, a „Agent Governance Toolkit” valós idejű biztonságot biztosít az AI-ügynökök számára, szigorú irányítást kényszerítve a vállalati AI-rendszerekre — írja az Artificial Intelligence News.
A fejlesztés célja a növekvő aggodalom kezelése: az autonóm nyelvi modellek ma már sokkal gyorsabban hajtanak végre kódot és érik el a vállalati hálózatokat, mint ahogy azt a hagyományos szabályozási mechanizmusok követni tudnák. Korábban az AI-integráció jellemzően csak beszélgetős felületeket és tanácsadó rendszereket jelentett, amelyek szigorúan emberi felügyelet mellett működtek.
Ma azonban a szervezetek olyan ügynöki keretrendszereket vezetnek be, amelyek önállóan cselekszenek, ezeket a modelleket közvetlenül belső API-khoz, felhőtárhelyekhez és CI/CD folyamatokhoz csatlakoztatva. Amikor egy autonóm ügynök képes elolvasni egy e-mailt, döntést hozni egy szkript megírásáról, majd azt egy szerverre feltölteni, akkor létfontosságúvá válik a szigorúbb irányítás.
A statikus kódanalízis és az előtelepítési sérülékenység-vizsgálat nem képes kezelni a nagyméretű nyelvi modellek nem-determinisztikus természetét. Egyetlen prompt injekciós támadás, vagy akár egy alapvető hallucináció is arra késztetheti az ügynököt, hogy felülírjon egy adatbázist vagy ügyféladatokat szivárogtasson ki.
Valós idejű beavatkozás
A Microsoft új eszközkészlete ehelyett a futásidejű biztonságra fókuszál. Lehetővé teszi az akciók monitorozását, értékelését és blokkolását abban a pillanatban, amikor a modell megpróbálja azokat végrehajtani. Ez a megközelítés felülmúlja a korábbi betanításra vagy statikus paraméterellenőrzésekre való hagyatkozást.
Biztonságos ügynök-környezet
Amikor egy vállalati AI-ügynöknek külső eszközt kell használnia, például egy készletnyilvántartó rendszert lekérdeznie, egy parancsot generál a külső eszköz eléréséhez. A Microsoft keretrendszere egy szabályzat-végrehajtó motort helyez a nyelvi modell és a szélesebb vállalati hálózat közé. Minden alkalommal, amikor az ügynök megpróbál egy külső funkciót elindítani, az eszközkészlet elfogja a kérést, és összeveti a tervezett műveletet egy központi irányítási szabályrendszerrel. Ha a művelet sérti a szabályzatot — például ha egy, csak készletadatok olvasására felhatalmazott ügynök megrendelést próbál leadni — az eszközkészlet blokkolja az API-hívást és naplózza az eseményt emberi felülvizsgálatra. A biztonsági csapatok így ellenőrizhető és auditálható nyomvonalat kapnak minden autonóm döntésről. A Microsoft Agent Governance Toolkit a MIT licenc alatt érhető el és a LangChain és AutoGen keretrendszereken is működik, 2024. március 15-étől.