Konfliktusfigyelés: torzítanak a nyílt forráskódú LLM-ek Nyugat-Afrikában
A humanitárius elszámoltathatóság szempontjából kritikus, hogy a LLM-ek kimeneteiben rejlő szisztematikus torzításokat megértsük a konfliktusfigyelésben.
A nyílt forráskódú nagyméretű nyelvi modellek (LLM) szignifikáns torzítást mutatnak a konfliktusok besorolásában Nyugat-Afrikában, ami komoly aggályokat vet fel a humanitárius elszámoltathatóság szempontjából — írja az ArXiv-en megjelent kutatás.
A tanulmány négy „vanilla” nyílt súlyú modellt (Gemma 3 4B, Llama 3.2 3B, Mistral 7B, OLMo 2 7B) és két domain-adaptált modellt (AfroConfliBERT, AfroConfliLLAMA) értékelt Nigéria és Kamerun konfliktuseseményeinek osztályozásában. Az ACLED adatbázist használták referenciaként, amely egy arany standardnak számító, többlépcsős ellenőrzésen átesett adathalmaz.
A kutatók megállapították, hogy a nyílt súlyú modellek statisztikailag szignifikáns hamis illegitimációs torzítást mutatnak. A Gemma 3 4B például a legitim csatákat 18,29%-ban tévesen civil célpontú erőszakként osztályozza, miközben nulla hamis legitimációs hibát vét. Ezzel szemben az AfroConfliBERT és az AfroConfliLLAMA modellek közel iránysemlegességet értek el, legitimációs torzításuk elhanyagolható.
A domain-adaptáció azonban nem szünteti meg az aktoralapú szelekciós torzítást. Mindkét adaptált modell statisztikailag szignifikáns torzítást mutat az aktorok azonosításában, ami továbbra is kihívást jelent a pontos konfliktusfigyelésben.