Új rendszer szabja testre a promptokat kérdésenként
A Towards Data Science új cikke egy olyan rendszert mutat be, amely a bejövő kérdésekre szabott promptokat generál, elkerülve a minden esetre érvényes, nagyméretű promptokat.
A cikk egy új megközelítést vázol fel a prompt-összeállításhoz: a dispatcher, vagyis az elosztó. Ez a komponens a kérdés alakjának megfelelően állítja össze a rendszer- és felhasználói promptokat. Ahelyett, hogy egyetlen, mindenre kiterjedő „mega-utasítást” használnának, amely minden lehetséges válaszformátumot (dátum, összeg, lista, táblázat) kezel, a dispatcher minden kérdéshez egyedi utasítást komponál. Ez csökkenti a tokenek számát, és megkönnyíti a hibakeresést.
A prompt-összeállítás folyamata
A dispatcher a question parsing téglából érkező ParsedQuestion objektumot dolgozza fel. Ez az objektum tartalmazza a kulcsszavakat, az elvárt válaszformátumot (expected_answer_shape), a bontási stratégiát és a konkrét kérdéshez kapcsolódó formátumkényszereket. A dispatcher kiválasztja a megfelelő sémát az ANSWER_REGISTRY-ből, majd összeállítja a rendszer-utasítást egy fix alapból (BASE) és a kérdés specifikus fragmentumaiból. Ezt követi a felhasználói prompt összeállítása, amely tartalmazza a kérdést, a kulcsszavakat és a lekérdezett szövegrészleteket. Végül a modell meghívásra kerül, és a válasz nyers válaszként eltárolásra kerül.
Kapcsolódó: RAG-dokumentumprofil optimalizálás
Strukturális utalások a kérdésben
A felhasználó kérdésének megfogalmazása, például „a 5. oldalon” vagy „az Árazás lapon”, befolyásolja a dokumentum-lekérdezés (retrieval) szűrését. Ezek az úgynevezett structural hints a ParsedQuestion objektum részei. A PDF-dokumentumok esetében a pages_hint mező tartalmazza a releváns oldalszámokat. Ez a funkció különösen hasznos rövid dokumentumok, például önéletrajzok vagy számlák feldolgozásakor, ahol a teljes dokumentum beleférhet a modell kontextusablakába.
Kapcsolódó: Kérdések feldolgozása RAG-ban
A cikk részletesen bemutatja a ParsedQuestion objektum struktúráját, beleértve a Keyword, RetrievalQuery és GenerationBrief alobjektumokat. A GenerationBrief tartalmazza a formátumkényszereket és a megkülönböztetési szabályokat, amelyek biztosítják, hogy a modell a kívánt formátumban és pontossággal adja meg a választ. A rendszer célja, hogy minden kérdésformátumhoz egyedi utasítást hozzon létre, elkerülve a kombinatorikus robbanást és a karbantartási nehézségeket.
Kapcsolódó: RAG-találatok auditálása LLM-mel