Kultúrák közötti inkonzisztenciát mérsékel a LLM-ekben a C-3PO modell

A többnyelvű nagyméretű nyelvi modellek (MLLM-ek) jelentős képességeik ellenére következetlenségeket produkálnak, amikor a prompt nyelve változik — írja az ArXiv-en megjelent kutatás. Ez a jelenség kritikus hibává válik, ha a felhasználó identitása expliciten definiált, például egy brit személyiség esetében, aki irodalmi kérdést tesz fel.

A tanulmány szerint ilyenkor a prompt nyelve felülírja a rendszer személyiségét: angol nyelven Shakespeare-t, spanyolul viszont Cervantest ajánl a modell. Ennek a kulturális inkonzisztenciának a robusztus számszerűsítésére a kutatók bevezették a Singleton Fleiss-féle κS metrikát, amely matematikailag ellenáll a modellek hallucinációinak.

A probléma enyhítésére a Cross-lingual Cultural Consistent Preference Optimisation (C-3PO) nevű, konszenzus-vezérelt igazítási módszert javasolták. A C-3PO akár 0,10 ponttal is növeli a κS értékét az igazítatlan modellekhez képest, ezzel felülmúlva a korábbi promptolási és reprezentációs irányítási technikákat.

A C-3PO rendszer célja, hogy a többnyelvű LLM-ek megbízhatóbban és kulturálisan konzisztensebben működjenek, függetlenül a bemeneti nyelvtől, különösen, ha a felhasználó egyértelműen meghatározott identitással rendelkezik. A kutatás szerint a modell 0,10 ponttal javítja a kulturális konzisztenciát.