Új AI-architektúra csökkenti a LLM-ek hibáit: 62%-kal kevesebb ismétlődés
A több lépésből álló feladatoknál a LLM-ek akár 30%-os arányban is szenvednek a hibás érveléstől, ismétlődésektől vagy elakadásoktól.
Egy új, úgynevezett Kognitív Társ (Cognitive Companion) architektúra jelentősen csökkentheti a nagyméretű nyelvi modellek (LLM) érvelési hibáit és ismétlődéseit — írja az ArXiv AI.
Az új rendszer két implementációval rendelkezik: egy LLM-alapú és egy innovatív, nulla többletköltséggel működő, úgynevezett Probe-alapú társal. A LLM-alapú Kognitív Társ 52-62%-kal mérsékelte az ismétlődéseket a ciklikus feladatoknál, mindössze 11%-os többlet számítási kapacitás mellett. A Probe-alapú változat, amelyet a 28. réteg rejtett állapotain tanítottak be, átlagosan +0,471-es hatásméretet mutatott, mérhető többletköltség nélkül.
A gondolatok labirintusában
A kutatók a Gemma 4 E4B modellen végeztek megvalósíthatósági tanulmányt, kiegészítve a Qwen 2.5 1.5B és a Llama 3.2 1B modellek elemzésével. A Cognitive Companion célja, hogy valós időben monitorozza a LLM-ek működését, és beavatkozzon, ha az érvelés romlását, ismétlődéseket vagy elakadásokat észlel.
Új utak a fejlesztésben
A hagyományos megoldások, mint a lépéskorlátok vagy a LLM-alapú monitorozás, vagy túl merevek, vagy jelentős, 10-15%-os többletköltséggel járnak lépésenként. A nulla többletköltségű Probe-alapú megoldás különösen ígéretes a széleskörű alkalmazások szempontjából, például a 2024. évben várható fejlesztések során az ArXiv AI-n keresztül.