Típusos válasz-séma csökkenti a hallucinációt a RAG-rendszerekben — Kezhan Shi megoldása
Kezhan Shi megoldása a hallucináció csökkentésére a RAG-rendszerekben a típusos válasz-sémát használja, amely szerződésként korlátozza a tévedési teret. A megközelítés az Enterprise Document Intelligence keretében fejlesztették ki.
A nagy nyelvi modellek (LLM) válaszai gyakran pontatlanok, mert ahelyett, hogy tényeket keresnének, a legvalószínűbb következő szót jósolják. Kezhan Shi szerint a típusos válasz-séma, amely szerződésként funkcionál, korlátozza a hallucináció terét, és megbízhatóbb kontrollmechanizmust kínál, mint a „ne tévedj el” típusú utasítások. Az Enterprise Document Intelligence keretében kifejlesztett módszer a RAG-rendszer (Retrieval-Augmented Generation) utolsó, generációs lépcsőjére fókuszál.
A korábbi lépcsőfokok — dokumentum- és kérdésfeldolgozás, valamint a releváns részek kinyerése — már jelentősen csökkentik a tévedés lehetőségét. A dokumentum-feldolgozás strukturált táblázatokat ad át, a kérdés-feldolgozás pontos kérdést és deklarált válaszformátumot, a kinyerés pedig a legfontosabb részekre szűkíti a keresést. Ezek a lépések előkészítik a terepet a generációs fázisnak, amelynek feladata, hogy a kinyert részek alapján megadja a választ.
Kapcsolódó: hűséges bizonytalanság
A típusos válasz-séma szerződésként működik a folyamat és a modell között. Ez nem csupán a végső „választ” jelenti, hanem további mezőket is tartalmazhat, amelyek további kérdéseket tesznek fel a modellnek. Ezek a mezők segítenek a modellnek strukturált objektumokat visszaadni, amelyek minden állítása idézettel van alátámasztva. A modell válaszai így a rendelkezésre álló részekre alapozódnak, nem pedig a képzési adatokból származó memóriára.
Kapcsolódó: Anchor rendszer
A séma négyféle mezőt foglal magában: típusos értékek (pl. Amount, DateValue, TableValue), több elemből álló válaszok több idézettel, önértékelési és visszajelzési mezők (pl. confidence, caveats, answer_found), valamint programatikus teljesség. Ezek a mezők lehetővé teszik a folyamat számára, hogy a modell válaszát kiértékelje és szükség esetén tovább dolgozza. A séma felépítése rétegzett: Value, Item, Answer, és Programmatic completeness.
Kapcsolódó: recorruption hiba
A módszer megbízhatóságát a Pydantic v2 sémák és az OpenAI válasz API-ja biztosítja. Bár a szerződés állítólag megakadályozza a hallucinációt, független teljesítménytesztek nem támasztják alá ezt az állítást, és a csökkentés mértéke sincs kvantifikálva. A GitHubon elérhető doc-intel/notebooks-vol1 repozitórium tartalmazza a futtatható társ-notebookokat a téma mélyebb megértéséhez.
Kapcsolódó: RAG-rendszer kulturális örökséghez