LLM-bíró rangsorolja a RAG-találatokat auditálható JSON-ban

Angela Shi a Towards Data Science-on mutatta be az Arbiter Pattern nevű új módszert, amely egyetlen LLM-hívással képes rangsorolni a RAG (Retrieval-Augmented Generation) rendszerek találatait, és indoklással ellátott, auditálható JSON-kimenetet ad. A minta a dokumentum-intelligencia rendszerek végpontjára illeszkedik, és az eddigi pontszám-alapú fúziós módszereket kívánja leváltani.

A hagyományos RAG-rendszerek gyakran több detektort használnak a releváns információk megtalálására, majd ezek pontszámait összevonják. Shi szerint ez a megközelítés, például a Reciprocal Rank Fusion (RRF) használata, elveszíti a detektorok által nyújtott értékes jelzéseket. A RRF figyelmen kívül hagyja a nyers pontszámokat, és csak a rangsorokat veszi figyelembe, ami elrejti az egyes találatok mögötti okokat — például miért releváns egy adott szakaszcím vagy kulcsszó.

Kapcsolódó: Felhasználói kérdések feldolgozása RAG-ban

Az LLM mint döntőbíró

Az Arbiter Pattern lényege, hogy egyetlen LLM-hívás kapja meg az összes detektor által talált jelöltet, azok kontextusát, a hozzájuk tartozó kulcsszavakat és a dokumentum szerkezetét. Az LLM ezek alapján rangsorolja a jelölteket, és minden megtartott jelölt mellé egy egyértelmű szerepkört (primary, supporting, tangential, discarded) és egy rövid indoklást rendel. Ez a megközelítés jobban hasonlít arra, ahogyan egy emberi szakértő értékelné a találatokat, szemben a tisztén számszerűsített fúziós módszerekkel.

Kapcsolódó: Python réteg LLM-hallucinációk szűrésére

A rendszer egy determinisztikus diszpatchet is használ, amely kérdésenként kiválasztja, mely detektorokat kell futtatni. Emellett kezeli a „nem található” esetet is, ami egy megbízható rendszer alapvető tulajdonsága. A kimenet egy egységes JSON-szerződés, a `RetrievalResult`, amelyet a generációs modul könnyen feldolgozhat.

Kapcsolódó: GitHub workshop LLM-építéshez

Gyakorlati alkalmazás és auditálhatóság

A módszert a „Attention Is All You Need” (Vaswani et al., 2017) című dokumentumon demonstrálják, amelynek tiszta PDF-szerkezete és ismert tartalma lehetővé teszi a fókuszálást a visszakeresési módszereken. A kimeneti `RetrievalResult` objektumot az auditálók is könnyen meg tudják védeni, mivel minden döntéshez konkrét indoklás tartozik, ami megkönnyíti a rendszer működésének ellenőrzését és megértését. A hagyományos RRF-et szükség esetén előszűrőként vagy a rendszert használó eszköz alapértelmezettjeként továbbra is naplózzák, de a végső rangsorolás az LLM feladata.

Kapcsolódó: AI javítja a dokumentumok megértését