Több ezer felhasználót tiltott ki tévesen a Discord AI-moderációja
A Discord elismerte, hogy hibás AI-moderációs rendszere több mint 8000 felhasználót tiltott le tévesen az elmúlt két hónapban, a probléma májusban kezdődött, és egy hétvégén további 200 fiók érintettségét okozta.
Az automatizált rendszer működése
Az eset rávilágít az AI-alapú moderációval kapcsolatos növekvő kihívásokra, mivel egyre több platform támaszkodik automatizált rendszerekre a káros tartalom nagy léptékű azonosítására. A Discord szerint az automatizált biztonsági rendszer a feltöltött tartalmakat ismert káros anyagok adatbázisaival hasonlítja össze. Bár a technológia célja a jogellenes tartalmak kiszűrése, a rendszer téves pozitív eredményeket produkálhatott, ami a hibás tiltásokhoz vezetett.A Discord Support X-en közzétett bejegyzése szerint a rendszer a hasonló mintázatokat keresi, ami téves riasztásokat eredményezhet. Ezért a biztonsági csapat mindig felülvizsgálja a jelölt tartalmakat, mielőtt intézkedne. A hibás működés miatt azonban a rendszer azonnal letiltotta az érintett fiókokat, emberi felülvizsgálat nélkül.
Kapcsolódó: ChatGPT biztonsági rése
A felhasználók tapasztalatai
A felhasználók panaszkodtak, hogy olyan ártalmatlan képek, mint táblázatok, sakktáblák, játéktextúrák, valamint fehér és szürke átlátszó hátterek miatt tiltották le őket. Egyesek szerint a Discord AI-moderációs eszközei érzékenyebbé váltak a rácsszerű mintázatokra, mivel ezeket korábban NSFW és gyermekekkel való visszaélésre utaló tartalmak elrejtésére használták. A tévesen letiltott felhasználók közül többen is kifejezték csalódottságukat a közösségi médiában, hangsúlyozva, hogy az automatizált észleléseken alapuló végleges fióktiltások súlyos következményekkel járhatnak.Kapcsolódó: Meta AI biztonsági hiba
A Discord nem az egyetlen platform, amely automatizált rendszerek miatti moderációs problémákkal szembesül. Tavaly az Instagram és a Facebook Csoportok felhasználói is tömeges fióktiltásokról számoltak be, amelyeket sokan az AI-moderációs rendszereknek tulajdonítottak. Bár a felhasználók az automatizálást jelölték meg lehetséges okként, a Meta soha nem erősítette meg nyilvánosan, hogy AI-hibák okozták-e a jelentett felfüggesztéseket. A Tumblr is hasonló panaszokkal szembesült, amikor felhasználók szerint fiókjaikat magyarázat nélkül tömegesen függesztették fel.
Kapcsolódó: Canva AI szöveghiba
A Discord közölte, hogy dolgoznak a biztonsági intézkedések javításán, hogy hasonló esetek ne fordulhassanak elő. A hibát kijavították, és az érintett fiókokat visszaállítják. A cég új biztonsági intézkedéseket vezet be a jövőbeli incidensek megelőzése érdekében. A TechCrunch megkeresésére a Discord nem kívánt további részleteket közölni a hibával kapcsolatban.
Kapcsolódó: AI árasztja a kiberfórumokat