A koszinusz-hasonlóság helyett szűrést javasol Kezhan Shi a RAG-ban

Kezhan Shi, a Towards Data Science publikáció szerzője szerint a nagy nyelvi modellek (LLM) retrieval-folyamatait alapvetően át kell gondolni. Az általánosan elterjedt, koszinusz-alapú keresési módszerekkel szemben Shi amellett érvel, hogy a dokumentumok strukturált adatként, SQL-szerű táblákként kezelendők, ahol a keresés valójában szűrés.

A mainstream RAG-folyamat-ok a dokumentumokat feldarabolják, minden darabot beágyaznak (embed), majd a kérdést is beágyazva koszinusz-hasonlóság alapján rangsorolják a legrelevánsabb darabokat. Shi ezt a megközelítést hibásnak tartja, mivel így elvész a dokumentum eredeti szerkezete, és az eredmények kevésbé megbízhatóak. A szerző saját, három jelpárhuzamos megközelítését javasolja, amely kulcsszavakra, a tartalomjegyzékre (TOC) és a beágyazásokra (embeddings) támaszkodik, egy LLM pedig a végén rangsorolja az összegyűjtött találatokat.

Kapcsolódó: RAG gyakori hibái

A szűrés mint alapelv

Shi szerint a dokumentumok feldolgozása után a retrieval lényegében egy SQL-szerű szűrési probléma, ahol a dokumentum sorai és a tartalomjegyzék oszlopokkal rendelkeznek, a retrieval pedig a köztük lévő join. A keresés és a szűrés nem szinonimák; a keresés minden jelöltet folyamatos hasonlósági pontszámmal értékel, míg a szűrés logikai feltételt alkalmaz, és csak azokat a sorokat tartja meg, amelyek megfelelnek a feltételnek. Ez az audit trail szempontjából is előnyös, mivel a szűrési feltétel egy sor áttekinthető kód, amely hónapok múlva is ugyanúgy fut. Ezzel szemben a keresés rangsorolása az embedding dimenzióktól függ, és nem mindig játszható vissza.

Kapcsolódó: AI javítja dokumentumértelmezést

Anchor és kontextus elkülönítése

A szerző kiemeli, hogy az anchor (a pontos válasz helye) és a kontextus (a válasz megértéséhez szükséges környező szöveg) két különböző fogalom, amelyeket nem szabad összekeverni. A top-k módszer gyakran kompromisszumra kényszerít: a kis darabok elveszítik a kontextust, a nagyok pedig pontatlanná válnak. Shi megközelítése elkülöníti a kettőt: a kulcsszó jelöli a válasz helyét, míg a kontextus határozza meg, mennyi környező szöveg kerül tovább a generáláshoz. Ez a megkülönböztetés biztosítja mind a pontosságot, mind a lefedettséget.

Kapcsolódó: AI a kibervédelemért

A beágyazások mint opcionális fallback

Shi szerint a kulcsszavas keresés mindig fut, mivel olcsó és determinisztikus. A dokumentum saját tartalomjegyzéke is elsőrangú retrieval-módszer. A beágyazások csak az utolsó, opcionális jelként funkcionálnak, kizárólag akkor, ha a szókincs eltérése várható. A 2024-es reflex, amely beágyazásokkal kezdődik, helytelen. Az embeddingek visszatartása azokra az esetekre, amikor az olcsóbb jelek kudarcot vallanak, jelentős hatékonyságnövekedést eredményezhet. A kulcsszavak hiányát jelző nulla találat valós hiányt jelent, míg az alacsony embedding-hasonlóság csak távolságot. Ezért a kulcsszavak, nem pedig az embeddingek döntik el, hogy létezik-e egyáltalán a válasz.

Kapcsolódó: recorruption hibamód

A co-occurrence ereje

A BM25 rangsorolása a kifejezések gyakoriságán alapul, de a vállalati környezetben a válasz gyakran egy téma egy adott érték melletti említéséből áll. A co-occurrence (együtt-előfordulás) módszer ebben az esetben hatékonyabbnak bizonyulhat, mint a BM25. A szerző szerint a dokumentum szerkezetének megőrzése és a szűrésen alapuló megközelítés javíthatja a RAG-rendszerek megbízhatóságát. A Kezhan Shi által javasolt megközelítés a doc-intel/notebooks-vol1 GitHub repozitóriumban található futtatható kódokkal illusztrálható, amelyek a Towards Data Science 2026. július 3-i cikkéhez kapcsolódnak.

Kapcsolódó: CanLegalRAGBench bemutatása