LLM-összefoglalók hibásak az azonosítás elhanyagolása miatt

A nagyméretű nyelvi modelleken (LLM) alapuló meeting-összefoglalók gyakran gyártanak tényeket, mivel kihagyják az úgynevezett azonosítási lépést — írja a Towards Data Science. Egy ötperces beszélgetésből nyolc tiszta szekciót, például döntéseket, teendőket vagy kockázatokat képesek generálni, amelyek látszólag pontosak.

A valóságban azonban a mögöttes átiratot vizsgálva kiderül, hogy két szekciót egyetlen kétértelmű mondatból következtettek ki, egyet teljesen kitaláltak, hármat pedig a modell korábbi tudása alapján illesztettek be, hogy megfeleljenek egy tipikus meeting-összefoglaló formátumának. Ez a probléma nem a megszokott értelemben vett hallucináció, hanem a meetinggel kapcsolatos tények kitalálása, amely a kimenetben nem észrevehető.

Azonosítás és becslés

A kauzális következtetés formalizálja a mennyiség azonosításának és becslésének különbségét. Az azonosítás az az érv, hogy a rendelkezésre álló adatok alátámasztják a megfogalmazni kívánt állítást, míg a becslés az a folyamat, amely egy számot ad, miután az azonosítás megtörtént. A LLM-összefoglalók közvetlenül a becslési lépésre ugranak, anélkül, hogy megkérdőjeleznék, az átirat elegendő bizonyítékot tartalmaz-e az állítás alátámasztására. Ehelyett azért állítanak valamit, mert a formátum megköveteli.

A probléma kezelésére egy új tervezési mintát javasolnak: a LLM által generált összefoglalókat strukturált állításokként kell kezelni, amelyek forrásra hivatkoznak. Minden állításnak meg kell jelölnie a támogatási kategóriáját (közvetlenül megfigyelt, következtetett vagy ajánlás), és a felülvizsgálati szakaszok csak gyengíthetik a nem alátámasztott állításokat, ahelyett, hogy simábbá tennék a kimenetet. Egy ilyen rendszerben az összefoglaló három LLM-szakaszból és egy determinisztikus renderelőből állna. Az első szakasz konzervatívan kivonja a strukturált tényeket, a második szintetizálja azokat címkézett állításokká, a harmadik pedig auditálja az állításokat, és csak törölheti, leminősítheti vagy áthelyezheti azokat, de nem írhatja át vagy találhat ki újakat. Ez a megközelítés azt jelenti, hogy sok szekció üres maradhat, ha az alapul szolgáló beszélgetés nem tartalmazott elegendő információt, ami viszont értékes információt szolgáltat a felhasználó számára a meeting valódi tartalmáról.