Ügynök-alapú AI csökkenti a ténybeli hibákat — 35%-kal kevesebb a tévedés

A nagyméretű nyelvi modellek (LLM) megbízhatóságát gátló ténybeli hibák (hallucinációk) jelentősen csökkenthetők egy új, ügynök-alapú architektúrával. A HOPE-inspirálta Nested Learning rendszer Continuum Memory Systems (CMS) és szimantikus hasonlóság-alapú cache-elés segítségével dolgozik, így a tévedések nem terjednek tovább a többlépcsős feldolgozási folyamatokban — közölte a kutatás.

A kutatók egy 310 promptból álló hibrid teljesítményteszten tesztelték a rendszert, amely 217 epistémikus bizonytalanságot vizsgáló és 93 hibaindukciós stresszteszt kérdést tartalmazott. Az Open Floor Protocol (OFP) által vezérelt, háromlépcsős ügynök-folyamat-t öt kulcsfontosságú teljesítménymutató (KPI) alapján értékelték: Factual Claim Density (FCD), Factual Grounding References (FGR), Fictional Disclaimer Frequency (FDF), Explicit Contextualization Score (ECS) és Observability Score Ratio (OSR). Ezekből állították össze a Total Hallucination Score (THS) nevű mutatót, ahol a negatívabb érték erősebb hibaelhárítást jelent.

Kapcsolódó: LLM fejlesztések

A hibaelhárítás labirintusa

Az aszimmetrikus tervezés, ahol a FrontEndAgent magas sztochaszticitással (temperature = 1.0) generálja a kiinduló hibákat, míg a SecondLevelReviewer és ThirdLevelReviewer fokozatosan javítják azokat, végpontok közötti THS-csökkenést eredményezett -31,3% és -35,9% között, öt különböző súlyozási konfigurációban.

Kapcsolódó: önfejlesztő memória

A szimantikus cache-elés áttörése

A szimantikus cache-elés 930 lehetséges hívásból 440-szer talált találatot (47,3%-os találati arány), ami 490 LLM-hívásra csökkentette az igényt. Ez nemcsak az energia- és CO2e-lábnyomot mérsékelte, hanem a többlépcsős ellenőrzési folyamatokat is működőképessé tette termelési szinten. Az ExtremeObservability konfiguráció érte el a legnegatívabb végső THS-t (-0,0709) a Continuum Memory Systems (CMS) segítségével 2024. március 15-én.

Kapcsolódó: átlátható AI