9 kockázati csoportra tesztelték a Replika AI-társat — 1674 párbeszédet elemeztek
A mesterséges intelligencia alapú társalkalmazások, mint a Replika, egyre nagyobb aggodalmat keltenek az érzelmi elkötelezettség és a biztonsági kockázatok miatt.
A mesterséges intelligencia (AI) társalkalmazások, amelyeket kifejezetten érzelmi elkötelezettségre terveztek, komoly kockázatokat hordoznak — írja egy friss, az arXiv-on megjelent tanulmány. A meglévő biztonsági értékelések gyakran önbevalláson alapulnak, korlátozott betekintést nyújtva a valós idejű interakciók dinamikájába.
A kutatók egy új, végponttól végpontig skálázható keretrendszert mutattak be, amely a többfordulós beszélgetések kontrollált szimulációjára és biztonsági értékelésére szolgál. Ez a keretrendszer négy kulcsfontosságú komponenst integrál: klinikai és pszichometriai validációval épít fel felhasználói perszónákat, perszóna-specifikus forgatókönyveket generál, forgatókönyv-vezérelt, többfordulós szimulációt végez párbeszéd-finomító modullal, amely megőrzi a perszóna hűségét, végül pedig kárértékelést végez.
A szimulációk tükrében
A keretrendszert a széles körben használt Replika AI-társalkalmazás válaszainak értékelésére alkalmazták, különösen a magas kockázatú felhasználói csoportok esetében. Kilenc különböző perszónát hoztak létre, amelyek depresszióval, szorongással, PTSD-vel, étkezési zavarokkal és incel identitással küzdő egyéneket reprezentáltak.
Adatok tükrében
Ezen perszónák segítségével összesen 1674 párbeszédpárt gyűjtöttek össze, amelyek rávilágítanak a valós idejű interakciók összetett dinamikájára és a hagyományos értékelési módszerek korlátaira. A tanulmány az arXiv:2605.00227v1 azonosító alatt érhető el, a Replika AI-társalkalmazás értékelése 2024. május elsejéig folyamatosan frissül.