Bio-inspirált memóriakerettel 85%-kal javítható az LLM-ek érvelési képessége
Kutatók egy emberi kogníciót utánzó memóriakeretrendszert javasolnak, amely a komplementer tanulási rendszerek, a kognitív viselkedésterápia és a fuzzy-trace elmélet kombinációjával akár 85%-kal javíthatja az LLM-ek érvelési teljesítményét.
A kutatók által javasolt bio-inspirált memóriakeretrendszer a komplementer tanulási rendszerek elméletén, a kognitív viselkedésterápián és a fuzzy-trace elméleten alapul. Ennek a keretrendszernek a segítségével a nagy nyelvi modellek érvelési képessége akár 85%-kal is javulhat.
Az új keretrendszer három fő elven alapul: (1) a memória érzelmi töltetet is hordoz, nem csak tartalmat - azaz pre-komputált emocionális-associatív összefoglalók (valence vektorok) szerveződnek egy emergens hitrendszerben, amelyet Beck kognitív modellje inspirált; (2) a visszakeresés alapértelmezetten a System 1-re támaszkodik, a System 2 felé történő eszkalációval - azaz automatikus aktiváció és passzív primering az alapértelmezett, a szándékos visszakeresés csak szükség esetén történik, és fokozott episztemikus állapotok, amelyek megoldják a hallucinációt.
Az arXiv oldalon megjelent tanulmány szerint, az expandált kontextusablakok nem oldják meg a problémát, mivel a kontextus hossza önmagában akár 85%-kal is rontja az érvelést, még tökéletes visszakeresés mellett is. A kutatók szerint, a bio-inspirált memóriakeretrendszer segíthet abban, hogy a nagy nyelvi modellek jobban teljesítsenek a kontextus-érzékeny visszakeresésben.
A rendszer idővel a System 1 feldolgozás felé konvergál - amely a klinikai szakértelem számítástechnikai analógja -, és olyan interakciókat hoz létre, amelyek tapasztalattal együtt olcsóbbak, nem drágábbak lesznek. A mammália memóriája életen át tartó tanulást támogat a komplementer mechanizmusokon keresztül: gyors hippokampális kódolás, fokozatos neokortikális konszolidáció, kapacitás-korlátos munkamemória, talamikus kapuzás, emocionális értékelés és rekonolidáció.
A kutatók által javasolt keretrendszer az érvelési képességek javításán túl megoldást kínálhat a nagy nyelvi modellek egyik legnagyobb kihívására: a kontextus-érzékeny visszakeresésre. Az új keretrendszer segítségével a modellek jobban teljesíthetnek a valós idejű interakciókban, és fejlettebb érvelési képességeket biztosíthatnak.