Már csak 8,2%-ban gondolkodik mélyen az új AI-módszer, de pontosabb

Az arXiv-kutatók bemutatták az IDPR nevű új keretrendszert, amely a nagy nyelvi modellek (LLM) problémamegoldó képességeit javítja. A módszer célja, hogy csökkentse a számítási költségeket azáltal, hogy csak akkor hívja meg a lassú, mély érvelést, amikor a feltétlenül szükséges.

A lassú érvelés szükségességének felismerése

A keretrendszer először egy gyors, intuitív választ generál. Ezt követően egy gátló vezérlő dönt arról, hogy ezt a választ azonnal közzétegyék-e, vagy el kell-e nyomni egy lassabb, mélyebb érvelési folyamat javára. Ez a vezérlő figyelembe veszi a gyors válaszhoz kapcsolódó bizonyítékokat, mint például a magabiztosság, a generálási költség és a válasz elemzhetősége.

Kapcsolódó: LLM tervezés

Jelentős pontosságnövekedés minimális erőforrás-igénnyel

Egy 5000 példából álló matematikai érvelési tesztelésen az IDPR mindössze az esetek 8,20%-ában alkalmazta a lassú érvelést, miközben a pontosságot 47,90%-ról 48,92%-ra emelte. Ugyanezen a lassú érvelési költségvetésen belül a véletlenszerű útválasztás 46,76%-ra csökkentette a pontosságot, míg a legerősebb, magabiztosságon alapuló módszer 48,22%-ot ért el. Az IDPR emellett a legmagasabb korrekciós pontosságot mutatta.

Kapcsolódó: logikus LLM válaszok

Az IDPR előnyei a többi módszerrel szemben

A válasz-feltételes gátló deliberáció jobban azonosítja azokat a gyors válaszokat, amelyek profitálnak a lassú érvelésből. Ez a megközelítés hatékonyabbá teszi az LLM-ek működését, különösen összetett feladatok esetén, mint például a tudományos kutatás vagy a kódírás.

Kapcsolódó: LLM mint bíró

Az IDPR-t az arXiv-on tették közzé, ahol további tesztelésre és finomításra vár.

Kapcsolódó: emberi gondolkodás LLM-ekben