Új keretrendszer fejleszti a nyelvi modellek társas intelligenciáját: a SAVOIR

A nyelvi modellek társas intelligenciájának fejlesztése, azaz az összetett interperszonális interakciók kezelésének képessége, alapvető kihívást jelent az AI-ügynökök számára. Az ilyen modellek megerősítéses tanulással történő betanításához kulcsfontosságú a „credit assignment” probléma megoldása: annak meghatározása, hogy az egyes megnyilvánulások miként járulnak hozzá a többfordulós párbeszédek kimeneteléhez — írja az arXiv-en előnyomtatott formában megjelent tanulmány.

A jelenlegi megközelítések közvetlenül nyelvi modelleket használnak az epizód-szintű jutalmak elosztására, ami visszamenőleges attribúciókat eredményez, elméleti alapok nélkül. A kutatók most bemutatták a SAVOIR (ShApley Value fOr SocIal RL) nevű új, elvileg megalapozott keretrendszert, amely a kooperatív játékelméleten alapul.

A SAVOIR lényege: stratégiai potenciál és méltányos elosztás

A SAVOIR két kiegészítő elvet kombinál. Az első a várható hasznosság eltolódások értékelése, amely a visszamenőleges attribúcióról a jövőbeli értékelésre helyezi a hangsúlyt. Ez a módszer megragadja egy megnyilvánulás stratégiai potenciálját a kedvező jövőbeli pályák lehetővé tételében.

A SAVOIR hatékonysága a társas intelligenciában

A második elv a Shapley-értékek alkalmazása, amelyek biztosítják a méltányos jutalomelosztást axiomatikus garanciákkal, mint például a hatékonyság, a szimmetria és a marginalitás. A Shapley-érték egy olyan játékelméleti koncepció, amely méltányosan osztja el a kooperatív játékban résztvevő játékosok közötti nyereséget vagy értéket.

A SAVOIR keretrendszer célja, hogy a nyelvi modellek ne csak utólag értékeljék a cselekedeteket, hanem előre lássák azok stratégiai értékét, ezzel hatékonyabban navigálva a komplex társas interakciókban. A tanulmány az arXiv:2604.18982v1 azonosító alatt érhető el, 2024. április 1-jétől.