LLM-ek gondolkodásában irracionális hibák — a racionalitás hiánya nem szüntethető meg

Új fogalmat vezetett be a kutatás: a „racionalitási érték‑kockázat” (rational value risk) azt a jelenséget írja le, amikor egy AI modell nem a legoptimálisabb, racionális úton haladva hozza meg a döntéseit, hanem eltér ettől az ideális útvonaltól. Ez a hiba a modell működési stratégiája és a racionális válasza közötti eltérésként definiálható.

A kutatók 7 különböző modellt vizsgáltak, köztük a Llama-3.1, Qwen-2.5, T{"u}lu-3 (7B-72B), GPT-5.2, GPT-5.5 és DeepSeek-V4 családokat. Több teljesítményteszten, mint az UltraFeedback, AlpacaEval, GSM8K, MATH, HumanEval és MathArena tesztelték őket. Az eredmények szerint a racionalitási érték‑kockázat széles körben elterjedt a vizsgált modellekben.

Kapcsolódó: GraphRAG-módszer

A jelenlegi módszerek korlátai

Az eredmények azt mutatják, hogy bár az értékrendhez igazítás csökkentheti ezt a kockázatot, teljesen nem tudja megszüntetni. A hibák becslésének pontatlanságát három tényezőre bontották: véges jelöltválaszték, véges utasítások és tökéletlen ellenőrző mechanizmusok. A kutatók szerint a kockázat mértéke nagymértékben függ a modell következtetési idejű (inference-time) gondolkodási stratégiájától.

Kapcsolódó: OPSA-módszer

Hosszabb gondolkodás, csökkenő hozam

A tanulmány szerint a hosszabb gondolkodási láncok javíthatják a modell racionalitását, de ez a hatás csökkenő hozammal jár. A kutatók által közzétett kód a GitHubon érhető el, a https://github.com/EVIEHub/LLM-Rationality címen.

Kapcsolódó: morális ítéletek

A kutatás eredményeit előnyomtatott formában tették közzé az arXivon. A szerzők megjegyzik, hogy a valós alkalmazásokban tapasztalható racionalitási kockázat mértékét kísérleti eredmények alapján becsülték meg, és ez független ellenőrzésen még nem esett át.

Kapcsolódó: AI-felelősség