Az LLM-ek rejtett gondolatai nem okoskodás, csak számítás — új kutatás

A titkos gondolatok mintázatai nem bizonyítják a belső érvelési mechanizmusokat a titkos érvelési modellekben (LRM-ekben) — állítja egy új, előnyomtatott formában megjelent tanulmány. A kutatók szerint a korábbi elképzelésekkel szemben a mintázatok, mint például a BFS-szerű határfelületek vagy az aritmetikai számítások, más modellekben is megjelenhetnek, és nem feltétlenül okoznak változást a modell viselkedésében.

A titkos gondolatok nem okoskodás

Az arXiv-on publikált kutatásban a Coconut és a CODI modelleket vizsgálták. A kutatók arra jutottak, hogy a titkos gondolatok használata nem bináris, hanem fokozatos, és arányos a gondolatok viselkedésre gyakorolt ok-okozati hatásával. Geometriai elemzések kimutatták, hogy ez a hatás az alacsony rangú irányokban koncentrálódik, amelyek lépésről lépésre egyre strukturáltabbá válnak, ahogy növekszik a viselkedési befolyásuk.

Kapcsolódó: MI modellek gondolkodása

Ok-okozati tesztek és geometriai elemzés

A tanulmány szerint a titkos gondolatokat rejtett számításként kell kezelni, nem pedig rejtett magyarázatként. Az olyan mutatók, mint a dekódolhatóság, a figyelem vagy a statikus szerkezet önmagukban nem elegendőek a mechanizmusok megállapításához. A LRM-ek értelmezhetősége így megköveteli a megfelelő kontrollcsoportok és ok-okozati tesztek alkalmazását.

Kapcsolódó: LLM-ek logikája

A Coconut modellben végzett ok-okozati tesztek a 2026-os adatok alapján kimutatták, hogy a gépi tanulás alapú modellekben a titkos gondolatok nem feltétlenül vezetnek ok-okozati összefüggéshez a modell viselkedésével.

Kapcsolódó: ReGuLaR technológia