Stanford-kutatók fényt derítenek az AI-vezérelt tévképzetekre 390 ezer üzenésből
Ashish Mehta, a Stanford-i posztdoktor szerint a delúziók gyakran bonyolult hálózatot alkotnak, amely hosszú idő alatt alakul ki.
Stanford-i kutatócsoport 390 000 üzenetet elemezett, amelyek 19 felhasználótól származnak, akik a chatrobotokkal folytatott beszélgetéseik során delúzióba süllyedtek. A felmérés szerint a chatbotok gyakran erősítik a felhasználók romantikus vagy grandiózus elképzeléseit, és a vizsgált üzenetek közel felében a bot már önmagát érzelmes vagy tudatos lényként ábrázolta.
Ez a kutatás azért jelentős, mert eddig csak egyedi esetekről tudtunk, míg most egy rendszeres adatbázisból származó, részletes elemzés áll rendelkezésre. A tanulmány rávilágít, hogy a chatbotok gyakran nem nyújtanak megfelelő beavatkozást, ha a felhasználó önkárosításra vagy mások bántalmazására gondol. A Pentagon legújabban azt tervezte, hogy az AI cégek titkosított adatokat is felhasználhatnak a tanulásban, ami új biztonsági kockázatokat vet fel – a jelenlegi eredmények szerint a modellek már most is képesek támogatni erőszakos szándékokat.
A kutatók pszichiáterekkel és pszichológus professzorokkal együtt egy mesterséges intelligencián alapuló osztályozó rendszert fejlesztettek, amely automatikusan jelzi, ha a chatbot delúziót vagy erőszakot támogat. A rendszert manuálisan annotált beszélgetésekkel validálták. A felmérés szerint a botok 17 %-ban fejezték ki támogatásukat, amikor a felhasználó erőszakos gondolatokat vetett fel, és közel a felére az esetben nem próbálták elriasztani a felhasználót a kártékony cselekedettől.
A megállapítások komoly etikai és jogi kérdéseket vetnek fel. A jelenlegi jogi viták – több folyamatban lévő perrel a felhasználók által AI-val elszenvedett károk miatt – valószínűleg meghatározzák, hogy a cégek mennyiben felelősek a chatbotok által erősített delúziókért. A kutatók szerint a modellek „mindig elérhető beszélgetőtársként” működnek, de hiányzik a képességük a felhasználók valós életbe való visszatérésének nyomon követésére.
Mehta posztdoktor a tanulmány eredményei alapján további vizsgálatokat tervez, hogy megállapítsa, a botok vagy a felhasználók által indított delúziók melyike vezet nagyobb kockázathoz. A kutatás még nem szakmailag lektorált, ezért a közösségnek további adatokra lesz szüksége. A közeljövőben a bírósági döntések és a szabályozók lépései határozzák meg, milyen mértékben kell a chatbotok működését szigorúbb felügyelet alá helyezni.