LLM‑ek hallucinációi most már könnyebben kiszűrhetők a FEPoID‑vel
Az új FEPoID kritérium automatikusan kiválasztja a legerősebb köztes rétegeket, ahol a hallucinációs jelek leginkább megjelennek, ezzel felülmúlva a korábbi, gyakran hibás layer‑választási módszereket.
A kutatók a hallucinációs jelek erősségét a köztes rétegekben vizsgálták — írja az arXiv.
Miért erősebbek a köztes rétegek?
Az előzetes elemzések szerint a modell belső feldolgozási szakaszaiban a kontextus‑integráció és a tudás‑reprezentáció intenzívebb, ezért a hamis információk nyomai ott jelennek meg erőteljesebben, míg a végső kimenet már szűri őket.
Az új FEPoID kritérium
A szerzők a First Effective Peak of Intrinsic Dimension (FEPoID) módszert vezették be, amely a dimenzió‑csúcsok első hatékony megjelenését keresi a rétegekben, és ez alapján jelöli ki a legígéretesebb réteget a hallucináció‑detektáláshoz.
Korábbi automatikus layer‑választási eljárások – például a gradient‑norm vagy a loss‑based módszerek – gyakran eltérő teljesítményt mutattak különböző modellek és feladatok között, így a kutatók azt találták, hogy ezek nem nyújtanak következetes eredményt.
A FEPoID-t a szerzők különböző LLM‑architektúrákon, méretekben, valamint kérdés‑válasz és összefoglaló hallucináció‑detektálási benchmarkokon tesztelték, és úgy tűnik, hogy a módszer jobb pontosságot ér el, mint a korábbi kritériumok.
Az arXiv:2605.26366v1-ben a FEPoID a kérdés‑válasz és összefoglaló benchmarkokon is felülmúlta a korábbi módszereket.