Hosszabb gondolkodás, nagyobb torzítás: a DeepSeek-R1 is pozíció-elfogult a válaszokban
A DeepSeek-R1 és más, gondolkodásra hangolt modellek esetében a válaszok pozíció-elfogultsága egyenesen arányos a gondolkodási folyamat hosszával — derül ki egy új kutatásból.
A lánc-gondolkodás (CoT) és az erre hangolt modellek, mint a DeepSeek-R1, eddig úgy tűnt, csökkentik a felületes heurisztikus torzításokat. Egy friss tanulmány azonban más eredményre jutott: a gondolkodási képességgel rendelkező modelleknél a pozíció-elfogultság a gondolkodási folyamat hosszával együtt növekszik — írja az ArXiv-en megjelent kutatás.
A kutatók tizenhárom különböző modellkonfigurációt vizsgáltak, köztük két R1-ből desztillált 7-8 milliárd paraméteres modellt, két alapmodellt CoT promptokkal, valamint a 671 milliárd paraméteres DeepSeek-R1-et. A MMLU, ARC-Challenge és GPQA adathalmazokon végzett tesztek során tizenkét konfigurációban pozitív részleges korrelációt találtak a gondolkodási folyamat hossza és a pozíció-elfogultsági pontszám (PBS) között, az eredmények 0,11 és 0,41 között mozogtak (minden p < 0,05).
A gondolkodás árnyoldalai
Minden vizsgált nyílt forráskódú, gondolkodásra képes modellkonfigurációban monoton növekedést mutatott a PBS a gondolkodási folyamat hossza szerinti kvartilisekben. Egy csonkítási beavatkozás oksági bizonyítékot is szolgáltatott: a folyamat későbbi pontjairól folytatott válaszok egyre nagyobb valószínűséggel mutattak pozíció-elfogultságot.
Torzítások a mesterséges intelligenciában
A kognitív torzítások jelenségét Amos Tversky és Daniel Kahneman vezette be 1972-ben, miután megfigyelték az emberek azon képtelenségét, hogy intuitívan érveljenek nagyobb nagyságrendekkel. A DeepSeek-R1 esetében a 0,41-es korreláció különösen figyelemre méltó, a kutatás 2024. március 10-én került publikálásra az ArXiv-en.