LLM-ek torzítása: 1 bangla kutatás

Az angol nyelvű utasítások globális narratívákat részesítenek előnyben a helyi kontextusokkal szemben a nagy nyelvi modellekben (LLM). Ezt a jelenséget, az úgynevezett globális narratív dominanciát egy új kutatás vizsgálta bangla nyelven, amely egy alacsony erőforrású kulturális kontextus. Az angol nyelvű kérdések szisztematikusan növelik a globális helyettesítést és az intézményi keretezést, miközben csökkentik a helyi perspektívák lefedettségét — írja az arXiv.

A kutatók létrehoztak egy 717 bangla kulturális példát tartalmazó CulturalNB nevű adatkészletet. Ez párhuzamos bangla–angol kérdés–válasz párokat, valamint támogató bizonyítékokat, metaadatokat és szociokulturális annotációkat tartalmaz. Kilenc state-of-the-art LLM teljesítményét értékelték emberi és két LLM-bíró segítségével, tesztelve a keresztnyelvi konzisztenciát, a nyelvi horgonyzást, a globális helyettesítést, az intézményi elfogultságot és az ismeretelméleti perspektíva lefedettségét.

Kapcsolódó: LLM-ek hibái

Az eredmények azt mutatják, hogy a helyi bizonyítékok javítják a ténybeli konzisztenciát és a perspektíva lefedettséget. Azonban még a helyi bizonyítékok sem tudják teljesen kiküszöbölni a nyelvi okokra visszavezethető ismeretelméleti eltolódásokat. Ez arra utal, hogy a LLM-ek kulturális hibái nem csupán hiányzó tudásból fakadnak, hanem a kontextusba való beágyazódás és a narratívák priorizálásának hiányából is erednek.

Kapcsolódó: LLM-ek teljesítménye

Az angol nyelv dominanciája a LLM-ek betanítási adathalmazában már korábban is ismert volt. A Wikipedia szerint az angol nyelvű tartalmak túlsúlya miatt a modellek hajlamosak az angol nézőpontokat előnyben részesíteni a kisebbségi nyelvekkel szemben. A 18. század végére a Brit Birodalom terjesztette el az angolt gyarmatain, ami a kereskedelem, tudomány, diplomácia és oktatás révén globális nyelvvé tette.

Kapcsolódó: LLM-ek általánosítása