Új RAG-rendszer optimalizálja a dokumentumprofil alapján a kérdés-parszolást
A dokumentum típusát, mezőit és egy LLM-generálta összefoglalót használva az új rendszer intelligensen választja ki a kontextust és a feldolgozó modellt.
Az Enterprise Document Intelligence keretében Angela Shi új megközelítést mutat be a RAG-rendszerek kérdés-parszolásának optimalizálására. A korábbi cikkekben lefektetett alapokra építve ez a rész a dokumentumprofilra támaszkodó döntési folyamatokat tárja fel, beleértve a chunk stratégiát, a válasz kontextusát és a modell kiválasztását. A rendszer az OpenAI gpt-4.1 családját használja a kérdések feldolgozására – írja a Towards Data Science.
A dokumentumprofil szerepe a döntéshozatalban
A hagyományos kulcsszavas keresés nem elegendő összetett dokumentumok, például önéletrajzok megértéséhez. Az új rendszer a dokumentum profilját, amely magában foglalja a dokumentum típusát (pl. önéletrajz, szerződés, számla), a tipikus mezőket és egy LLM által generált összefoglalót, felhasználja a kérdés-parszolás finomhangolására. Ez lehetővé teszi a rendszer számára, hogy felismerje az olyan kulcsszavakat, mint a „név” egy önéletrajzban, és ne csak szó szerinti tokenként kezelje azokat, hanem a kontextusnak megfelelően értelmezze – közölte a szerző.
Kapcsolódó: Deep Research rendszer
Döntések a kontextusról és a chunk stratégiáról
A kérdés-parszolás után a rendszer három további döntést hoz: mennyi környező szöveget olvasson vissza, hogyan kombinálja a releváns részeket (chunkokat) az LLM-hívás során (egyszerre vagy egymás után), és melyik modellt hívja meg. Ezek a beállítások alapértelmezett értékekkel rendelkeznek, de felülírhatók koncepció, válaszforma vagy projekt specifikus beállítások alapján. A StructuralHints mezők, mint a detection_context és az answer_context, meghatározzák a kontextus granularitását, például hogy egy egész bekezdést vagy csak egy sort kell-e figyelembe venni – írja a Towards Data Science.
Kapcsolódó: PAR²-RAG
Modellválasztás és hatékonyság
A modell kiválasztása is a dokumentumprofilon és a feladat komplexitásán alapul. Egy egyszerű adat kinyeréséhez nem szükséges a legerősebb modell, ami pazarlás lenne. Az új rendszer négy koncepcionális LLM-tier-t különböztet meg, amelyek függetlenek a konkrét szolgáltatóktól (pl. OpenAI, Anthropic). Ez lehetővé teszi a költséghatékonyabb és célzottabb modellhasználatot, különösen nagyvállalati környezetben, ahol a dokumentumok millióit kell feldolgozni.
Kapcsolódó: AI-dokumentumértelmezés
A chunk stratégia és a válasz kontextusának meghatározása kulcsfontosságú a válaszok pontosságának és a tokenhasználat optimalizálásának szempontjából. A sequential chunk dispatch például körülbelül kétharmadával csökkentheti a bemeneti tokenek számát, ha a válasz az első chunkban található. A rendszer a koncepció-szintű felülírásokat részesíti előnyben az alapértelmezett beállításokkal szemben, biztosítva a rugalmasságot – közölte a szerző.
Kapcsolódó: Anchor rendszer
A modellválasztásnál a koncepcionális LLM-tier-eket pontos modellekhez rendelik. A cikkben említett OpenAI gpt-4.1 család és az Anthropic Claude családja is saját felhőszolgáltatás, melyek használatát az adott szolgáltató feltételei szabályozzák. A rendszer célja, hogy a megfelelő modellt alkalmazza a feladat komplexitásának megfelelően, elkerülve a felesleges költségeket és javítva a teljesítményt.
Kapcsolódó: RAG hibák