Microsoft bemutatja az ASSERT keretrendszert az AI viselkedés tesztelésére
Az ASSERT nevű nyílt forráskódú keretrendszerrel a fejlesztők egyszerűen hozhatnak létre AI viselkedéstesztet, szöveges célleírások alapján.
A Microsoft kedden bemutatta az ASSERT nevű, nyílt forráskódú keretrendszerét, amely megkönnyíti az AI-modellek specifikus viselkedésének tesztelését. A fejlesztők magas szintű, természetes nyelvű leírásokat adhatnak meg a rendszernek, amely ezekből kidolgozott, pontozott teszteket generál.
Az ASSERT képes a megadott célokat, szabályokat és szándékolt viselkedéseket strukturált tesztesetekké alakítani. A rendszer futtatja ezeket a teszteket a cél-AI ellen, pontozza az eredményeket, és rögzíti a modell által követett utakat, beleértve a köztes lépéseket és a használt eszközöket.
Kapcsolódó: Euphony eszköz
A tesztelés mélyvízében
A keretrendszer kitölti azt az űrt, amelyet a szélesebb körű, általános értékelések nem tudnak lefedni, különösen akkor, amikor az AI-modelleknek egy adott alkalmazás vagy termék kontextusához, szabályaihoz és eszközeihez kell igazodniuk. „Az értékelések kritikusak a jó döntések meghozatalában” — mondta Sarah Bird, a Microsoft Responsible AI részlegének vezetője.
Kapcsolódó: AI-ügynök biztonság
Fejlesztés és monitorozás
Az ASSERT használható a rendszerek fejlesztése során, bevezetés után, sőt folyamatos monitorozásra is. A Microsoft szerint a keretrendszer 200 MB memóriával is képes dolgozni, miközben megőrzi a tesztek pontosságát. A Microsoft ASSERT keretrendszert 2024. március 15-én kezdte el alkalmazni saját fejlesztéseiben.
Kapcsolódó: új AI modellek