RAG-alapú StyleCheck: így biztosítható a megbízható AI-tartalom

A StyleCheck nevű AI-alkalmazást Nathalie Samaha Martin, AIGP és csapata fejlesztette ki a Polis LSE JournalismAI Cohort programjában. Az eszköz célja, hogy a hírszobákban segítse az újságírókat a szerkesztőségi irányelvek betartásában a publikálás előtt — írja a LinkedInen megjelent cikk.

Az alkalmazás a Retrieval Augmented Generation (RAG) technológiára épül, ami miatt az adatkorpusz integritása kulcsfontosságú volt. A szerkesztőségi irányelveket normalizált, deduplikált adathalmazzá alakították, hogy kiküszöböljék a redundanciát és egyetlen, ellenőrizhető forrást hozzanak létre. Ez a megközelítés segített megelőzni a modell „hallucinációit”, amikor az ellentmondásos adatok miatt téves információkat generál.

Rétegelt lekérdezési architektúra

A szabályok lekérdezése is összetett feladat volt. Kezdetben a teljes stílus útmutatót egyetlen promptba próbálták beilleszteni, ami ígéretesnek tűnt, de a prompt hosszának növekedésével romlott a teljesítmény. Ezért egy rétegelt lekérdezési architektúrát építettek ki: a specifikus szabályokat kulcsszavas kereséssel, a tágabb, diszkriminatív nyelvezetre vonatkozó irányelveket pedig szemantikus kereséssel (Pinecone segítségével) azonosították. Az univerzális szabályok, mint például a címsor formázása, mindig visszatértek, függetlenül a cikk tartalmától.

A modell a rendszerpromptban azt az utasítást kapta, hogy csak az elsődleges szabályok alapján értékelje a történeteket, a másodlagos kontextust külön kódolták. Ez csökkentette a kétértelműséget és a téves pozitív találatokat. Az újságíróknak mindössze fel kellett tölteniük a cikket a StyleCheck prototípus felületére, hogy visszajelzést kapjanak a megfelelőségről. A fejlesztők a „Chain-of-Thought” (CoT) promptolást is alkalmazták, amely utasította a modellt, hogy azonosítsa a felhasznált irányelvet, mielőtt javítást javasolna, növelve az átláthatóságot. Azonban a kutatások azóta megerősítették, hogy a LLM-ek képesek konfabulálni a gondolatmenetüket, azaz hihetőnek hangzó indoklásokat produkálnak, amelyek nem feltétlenül tükrözik a kimenet tényleges generálását. Az igazi auditálhatóság strukturálisabb megközelítést igényel, amely rögzített bemeneteket és kimeneteket, verziókövetett promptokat és emberi ellenőrzési pontokat foglal magában.

A StyleCheck projekt legfontosabb tanulsága, hogy az AI „alapozása” folyamatos elkötelezettséget igényel, nem pedig egyszeri beállítást. A stílus útmutató egy élő dokumentum, amely tükrözi a nyelvi és szerkesztőségi értékek változásait. Az EU AI törvény keretében az AI-rendszerek üzemeltetőinek magas kockázatú környezetben adatirányítási folyamatokat kell fenntartaniuk, amelyek figyelembe veszik a lekérdezési adatok relevanciáját, pontosságát és aktualitását. A fejlesztők ma már verziókövetett adatréteget, megfelelő naplózási architektúrát és formális házirendként kezelt rendszerpromptot alkalmaznának a StyleCheck 2.0-ban.