Kulturális árnyalatok szétfeszítik az AI-bírókat — új teljesítményteszt tárja fel a torzításokat

Az emberi értékelők közötti kulturális különbségek megnehezítik a multimodális AI-modellek (MLLM) megbízhatóságának mérését. Egy új, VOIR DIRE nevű teljesítményteszt 626 kulturálisan párosított kép-prompt párosítást használ, amelyek amerikai és kínai kontextusokat ölelnek fel az élelmiszer, divat és építészet terén.

Kulturális divergencia az AI-ban

A kutatók megállapították, hogy bár az értékelők egy adott kultúrán belül megbízhatóak (α = 0,86/0,74), az eltérő kulturális hátterű értékelők között negatív korreláció (Q1 r = -0,12) mutatkozik. Ez azt jelenti, hogy az egyik kultúrában helyesnek tartott értékelés a másikban hibásnak bizonyulhat.

Kapcsolódó: szintetikus jogi fotók

Kétféle torzítás

Hat vizsgált MLLM esetében a torzítás két fő típusra bontható: egyrészt kalibrációs hiba, ahol a modell a skálát túl szűken használja, másrészt orientációs hiba, ahol egy adott kulturális norma felé hajlik. A kínai kontextusban a megengedőbb értékelés mechanikusan érvényesül a vitatott esetekben.

Kapcsolódó: brazil jogi szövegek

Persona prompting és demonstrációk hatása

A személyiség-promptolás (persona prompting) részlegesen enyhíti a kalibrációs hibát, de az orientációs hiba továbbra is fennmarad. A referenciatartományból származó példák (in-context demonstrations) tovább súlyosbítják az orientációs hibát, és inkább a magas pontszámokat inflálják, mintsem az alacsonyakat állítanák helyre.

Kapcsolódó: borítókép-generálás

Modell eredete és javaslatok

A modell eredete kis, hozzáadódó elhajlást (~0,10 MAE) okoz, amely nagyjából független a demonstrációktól. A szerzők javasolják, hogy az AI-modellek igazítását külön-külön jelentsék minden referenciatartományra, és a kultúrák közötti eltérést magának a bírónak (AI-modellnek) a tulajdonságaként kezeljék.

Kapcsolódó: LLM kulturális értékek

A kutatás kiemeli a kulturális árnyalatok fontosságát az AI-értékelésben. A VOIR DIRE teszt jelenleg a kutatók számára egy új eszközt ad a multimodális AI-modellek kulturális érzékenységének mérésére.

Kapcsolódó: bírósági ítéletek generálása