Új adathalmaz elemzi az AI-ügynökök gondolkodását — finomhangolási lehetőséget kínál

Egy új kódolási implementáció teszi lehetővé a lambda/hermes-agent-reasoning-traces adathalmaz elemzését, vizualizálását és finomhangolását — írja a MarkTechPost.

A fejlesztők így betekintést nyerhetnek az ügynökalapú modellek belső működésébe, különösen abba, hogyan gondolkodnak, használnak eszközöket és generálnak válaszokat összetett, többfordulós beszélgetésekben. Az első lépés az adathalmaz betöltése és struktúrájának, kategóriáinak és beszélgetési formátumának vizsgálata, hogy világos képet kapjunk a rendelkezésre álló információkról.

Egyszerű parsereket építettek, amelyekkel kinyerhetők a kulcsfontosságú komponensek, mint például a gondolkodási nyomok, az eszközhívások és az eszközválaszok. Ez lehetővé teszi a belső gondolkodás és a külső műveletek elkülönítését. Az elemzés során olyan mintázatokat vizsgálnak, mint az eszközhasználat gyakorisága, a beszélgetések hossza és a hibák aránya, hogy jobban megértsék az ügynök viselkedését.

A gondolkodás láthatóvá tétele

Az adathalmazt vizualizációk segítségével is bemutatják, amelyek intuitívabbá teszik az elemzést. Végül az adathalmazt modellbarát formátumba konvertálják, így alkalmassá válik olyan feladatokra, mint a felügyelt finomhangolás. A folyamat során a szükséges könyvtárakat telepítik és a modulokat importálják, majd betöltik a lambda/hermes-agent-reasoning-traces adathalmazt.

Elemzés és finomhangolás

A regex-alapú parserek segítségével kivonják a gondolkodási nyomokat, az eszközhívásokat és az eszközválaszokat. Az asszisztens üzeneteit strukturált módon dolgozzák fel, elkülönítve a gondolatokat, műveleteket és végső kimeneteket. A MarkTechPost szerint a parsert egy mintabeszélgetésen tesztelték, hogy ellenőrizzék a kivonás helyességét. A lambda/hermes-agent-reasoning-traces adathalmaz 2024. március 15-én került nyilvánosságra.