Életveszélyesek lehetnek az AI-eszközök a mentális egészségügyben, hiányzik a szabályozás

Több millió amerikai fordul mentális egészségügyi problémái miatt AI-eszközökhöz, ám a szabályozás és a validált értékelési módszerek elmaradása komoly kockázatot rejt. A Stanford HAI által szervezett workshopon szakértők azonosítottak kulcsfontosságú hiányosságokat a terápiás és érzelmi támogatást nyújtó AI-eszközök jogi kereteiben.

A mentális betegségekkel küzdők számára a terápia továbbra is sokak számára elérhetetlen, a szakemberhiány pedig hónapos várakozási időket eredményez. Ebbe a piaci résbe léptek be az AI-alapú eszközök, mint a terápiás tanácsadást kínáló chatbotok vagy a kognitív viselkedésterápiás gyakorlatokat nyújtó appok. A gyerekek és felnőttek egyaránt fordulnak általános chatbotokhoz, mint a ChatGPT, vagy „társas” botokhoz, mint a Character.ai és a Replika, magány vagy érzelmi distressz esetén.

Kapcsolódó: AI mentális egészségügy

Az AI-nak a mentális egészségügyben rejlő potenciális előnyei közé tartozik a nagyobb hozzáférés, az alacsonyabb költség, valamint az érzelmi támogatás. Ezek az ígéretek azonban kockázatokkal is járnak. Világos szabályozás és szabványosított harmadik féltől származó tesztelés hiányában ezek az eszközök alacsony színvonalú ellátást nyújthatnak, és veszélyeztethetik a felhasználókat. A hírekben gyakoriak a kiskorúak és chatbotok közötti egészségtelen érzelmi kötődések, a válsághelyzetben lévő felhasználók káros vagy elégtelen válaszokat kapnak, és kutatások mutatják, hogy az általános chatbotok gyakran figyelmen kívül hagyják a vészjeleket.

Kapcsolódó: AI válaszok biztonsága

Az AI-eszközök definíciója és a jogi keretek

Az AI szerepe a mentális egészségügyben gyorsan növekszik, a törvényhozók pedig nehezen tudnak lépést tartani. A legtöbb törvényhozási tevékenység állami szinten történt, több mint 140 törvényjavaslatot terjesztettek elő. A szövetségi törvényhozás függőben van, eddig szűken a kiskorúak védelmére összpontosított. Ezt a töredezett politikai tájképet tovább nehezíti a folyamatosan lemaradó bizonyítékbázis: sok speciálisan erre a célra kifejlesztett AI mentális egészségügyi eszközből hiányoznak validált eredmények és reprezentatív minták, ritkán értékelik őket szigorú vizsgálati tervekkel. Eközben az általános chatbotokat működtető modellek olyan gyorsan frissülnek, hogy a biztonsági kutatási eredmények gyorsan elavulnak.

Kapcsolódó: AI gyógyszerbiztonság

A Stanford Institute for Human-Centered AI (HAI) felismerte ezeket a kormányzási kihívásokat, és vezető kutatókat, orvosokat, politikusokat, viselkedés-egészségügyi szakértőket, etikusokat, AI-fejlesztőket és betegjogi képviselőket hívott össze egy politikai műhelyfoglalkozásra 2026 júniusában. A találkozón, amely az AI for Mental Health Symposium után következett, a résztvevők nyíltan megvitatták az AI mentális egészségügyi felhasználásának szabályozására irányuló törekvéseket, azokat a bizonyítékhiányokat, amelyeket orvosolni kell az ésszerű politikai döntéshozatalhoz, valamint a lehetséges politikai eszközök és biztosítékok műszaki megvalósíthatóságát. A csoport három kulcsfontosságú politikai kihívást azonosított a további kutatásra.

Az értékelési módszerek elmaradása és a kutatási adatok hiánya

A hatékony szabályozáshoz szükség van arra, hogy a politikusok, mentálhigiénés szakemberek és AI-fejlesztők megegyezzenek a „mentális egészségügyi AI” határain — egy tág fogalom, amely sokféle eszközt és alkalmazást foglal magában. Jelenleg nincs széles körű konszenzus arról, hogy mi minősül pontosan mentális egészségügyi AI-eszköznek, hol húzódik a határ a szabályozandó klinikai funkció és a wellness funkció között, vagy mely politikai eszközöket kell alkalmazni mely termékekre. A klinikai céllal kifejlesztett chatbotot ugyanúgy kellene kezelni, mint egy általános célú chatbotot, amelyet a felhasználó válsághelyzetben használ? Bár minden mentális egészségügyi AI-eszköznek meg kell felelnie bizonyos alapvető biztonsági elvárásoknak, a különböző típusú AI-vezérelt mentális egészségügyi eszközök eltérő elvárásokat és kockázatokat teremthetnek, és így eltérő szabályozást igényelhetnek.

Kapcsolódó: AI stressz felismerés

Sok törvényhozási megközelítés nem veszi figyelembe a különböző mentális egészségügyi AI-termékek differenciált következményeit. Például a humán szolgáltatók által pszichoterápia nyújtására használt összes AI teljes betiltása nem veszi figyelembe azt a valóságot, hogy az emberek továbbra is általános célú chatbotokhoz fordulhatnak olyan terápiáért, amelyet még nem vizsgáltak vagy felügyeltek klinikusok. Mindaddig, amíg nincs definíciós egyértelműség, a szabályozás töredezett marad, az értékelési szabványok következetlenek lesznek, és a vállalatok továbbra is bizonytalanságban működnek.

Kapcsolódó: AI és emberi kapcsolatok

Bár más egészségügyi AI-eszközök teljesítményének szisztematikus értékelésére szolgáló módszerek gyorsan fejlődnek, a mentális egészségügyi AI-eszközök valós idejű hatékonyságának és biztonságának felmérésére szolgáló módszerek elmaradnak. A legmagasabb tétű interakciók ritkák és nehezen szimulálhatók, a modell viselkedése kiszámíthatatlan a valós helyzetekben, és az egyszeri tesztelés kevés információt nyújt a hosszú távú hatásokról. Eközben a biztonság és hatékonyság nagyszabású tanulmányozásához szükséges valós chatadatok nagyrészt az iparágon belül maradnak, kevés értelmes struktúrával a független kutatókkal vagy szabályozókkal való megosztásra. Ez politikai szűk keresztmetszetet teremt. Sok ésszerű biztonsági követelmény nem indokolható vagy nem érvényesíthető nagyszabású interakciós adatok nélkül. Vegyük például a szicofanciát: az AI-eszközök azon hajlamát, hogy érvényesítsék és megerősítsék a felhasználókat, ami különösen káros lehet az OCD-ben szenvedők számára, ahol az érvényesítés keresése és a hosszan tartó elköteleződés megerősítheti a kényszeres mintákat. Az ilyen problémák kezelésére alkalmas politikai mechanizmusok kidolgozása és érvényesítése megköveteli annak ismeretét, hogy ez milyen gyakran fordul elő, kinél, és milyen hatással van. Jelenleg nem tudjuk megválaszolni ezeket a kérdéseket. Még ott is, ahol adatok léteznek, az értékelési tájkép töredezett. Bár a kutatók sokféle megközelítést javasoltak a benchmarkolásra, hiányzik a kooperáció.