Kétféleképpen hibázhatnak a nyelvi modellek: token-szintű bizonytalanság jelzi a bajt
A nyelvi modellek érvelési hibái kétféle folyamaton keresztül keletkeznek, amelyeket token-szintű bizonytalanság jelez. Az új keretrendszer 23 tesztelt konfigurációból 20 esetben pontosan előre jelezte a hibákat.
A nagy nyelvi modellek (LLM) érvelési hibái nem véletlenszerűek, hanem jól azonosítható folyamatokon keresztül jelennek meg. Kutatók egy új keretrendszert dolgoztak ki, amely token-szintű bizonytalansági jelek alapján képes karakterizálni ezeket a hibákat, megkülönböztetve két fő típust: az elkötelezett hibát és a tartós bizonytalanságot. Az eredményeket az arXiv preprint szerveren tették közzé.
Elkötelezett hiba vs. tartós bizonytalanság
Az elkötelezett hibánál a modell korán egy helytelen érvelési útvonalhoz ragaszkodik. Ennek diagnosztikai jele a „commitment point”, egy pont, ahonnan további tokenek figyelembe vétele már nem segít, sőt, ront a hibafelismerésen. Ezzel szemben a tartós bizonytalanságnál a bizonytalanság folyamatosan halmozódik az érvelés során, és a teljes leírást kell figyelembe venni a sikeres és sikertelen kimenetek megkülönböztetéséhez.
Kapcsolódó: VPS-módszer fejlesztés
A hibafelismerés pontossága
A kutatók által kidolgozott keretrendszer jóval véletlenszerű fölötti pontossággal működik. A falszifikálható jóslatok 23 modell-adatkészlet konfigurációból 20 esetben bizonyultak helytállónak. Ez az eredmény jól mutatja a módszer megbízhatóságát mindkét hibaforrás azonosításában.
Kapcsolódó: LLM-fejlesztési folyamat
Következmények az önkonzisztenciára
Az új keretrendszernek közvetlen hatása van az LLM-ek önkonzisztenciájának vizsgálatára. Azonosítja, hogy mikor egészíthetik ki egymást a bizonytalansági jelek az önkonzisztenciával, és mikor hagyható el szelektíven utóbbi. A Stanford és a Google Robotics közös tanulmánya a keretrendszer eredményeit mutatta be az arXiv preprint szerveren.
Kapcsolódó: LLM-logikus válaszok