Nick Diakopoulos: Az AI elszámoltathatóság felé tolódik
Az AI-rendszerek magyarázhatósága eddig főleg a technikai megértésre koncentrált, de a jövőben az elszámoltathatóság lesz a kulcs. Egy AI-rendszer által okozott kár esetén a felelős személyektől elvárható, hogy magyarázatot adjanak.
Bár az elmúlt évtizedben számos technika született az AI-modellek működésének megértésére, kevésbé volt világos, kinek szólnak ezek a magyarázatok, és milyen elszámoltathatósági célokat szolgálnak — írja Nick Diakopoulos kutató.
Egy AI-rendszer által okozott kár esetén a felelős személyektől elvárható, hogy magyarázatot adjanak különböző fórumoknak, például a médiának, közigazgatási szerveknek vagy bíróságoknak. Ez a kapcsolat, ahol egy szereplő köteles elmagyarázni a magatartását, az elszámoltathatóság kulcsfontosságú aspektusa.
Különböző magyarázatok, különböző célok
A magyarázható AI (XAI) témájában közel egy évtizede zajlik a kutatás (Lipton, 2018; Mittelstadt et al, 2018; Wachter et al, 2017), főként az AI-rendszerek technikai komponenseinek érthetőbbé tételére fókuszálva. Azonban a friss kutatások (Dhar et al, 2025; Alpsancar et al, 2025) felvetették, hogy a XAI-irodalom nem mindig volt egyértelmű az AI-magyarázatok céljaival kapcsolatban.
Dhar és munkatársai (2025) egy keretrendszert mutatnak be az AI-magyarázatok céljainak átgondolására, figyelembe véve, kinek szólnak a magyarázatok, milyen információt közvetítenek, és hogyan mutatják be azt. Különböző érdekelt felek, mint az AI-rendszer fejlesztői, üzemeltetői, ellenőrei és az érintettek, eltérő magyarázatokra és prezentációs módokra (például vizuális, szöveges, interaktív) tarthatnak igényt.
Egy rendszerfejlesztő például egy rendkívül technikai, interaktív magyarázatból profitálhat, amely segíti a modell hibakeresését, és így megelőzi a jövőbeli torzításokat vagy méltányossági problémákat. Egy döntés alanya viszont valószínűleg valami hozzáférhetőbbre vágyik, hogy megértse, miért kapta a kapott eredményt, és esetleg vitathassa azt, ha hibásnak találja. Az ellenőröknek (például auditoroknak) ellenőrizniük kell a modell által használt bemeneti jellemzőket, hogy azok pontosak és megfelelőek legyenek, az üzemeltetőnek pedig tudnia kell, hogyan vezetnek cselekedetei valószínű következményekhez a rendszerrel kapcsolatban, hogy felelős ember legyen a folyamatban (Baum et al, 2022).
A magyarázatok típusai is eltérő elszámoltathatósági célokat szolgálnak. A lokális magyarázatok az egyedi kimenetekre fókuszálnak, és jól illeszkednek a retrospektív elszámoltathatóság céljaihoz, amelyek egy adott egyedi döntésért való felelősség megállapítására koncentrálnak. Ezzel szemben a globális magyarázatok, amelyek a modell általános kimeneti mintázataira irányulnak, jobban támogatják a prospektív elszámoltathatóság céljait, ahol átfogó képre van szükség a rendszer szintjén várható károk megelőzéséhez.
A rendszer viselkedésének post-hoc magyarázatai, amelyek nyomon követik, hogyan befolyásolják a bemenetek a kimeneteket, kulcsfontosságúak mind a retrospektív, mind a prospektív elszámoltathatóság szempontjából. A mechanisztikus magyarázatok, amelyek a modell belső működését tárják fel, szűkebben hasznosak a fejlesztők számára a nem kívánt eredmények megelőzésében. Az Alpsancar és munkatársai (2025) által készített tanulmány explicit kapcsolatot teremt az AI-magyarázat és a felelősség kijelölésének igénye között, ami az AI-irányítás alapját képezi.