Új Python réteg szűri a LLM-hallucinációkat — megbízhatóbbá teszi a válaszokat
A hagyományos értékelési módszerek nem skálázhatók, és nem képesek kiszűrni a magabiztos, de hibás válaszokat, ami komoly problémát jelent a termelési rendszerekben.
A legtöbb nagyméretű nyelvi modell (LLM) értékelési rendszere túlságosan szubjektív pontozásra és emberi ítélkezésre támaszkodik, ami skálázáskor megbukik — írja Emmimal P Alexander a saját blogján. A valódi probléma nem az, hogy a modellek hallucinálnak, hanem az, hogy a jelenlegi rendszerek nem képesek elkapni a magabiztos, de finoman hibás válaszokat.
Alexander egy új értékelőréteget épített, amely a hűséget két jelre bontja: attribúcióra és specificitásra. Magas specificitás és alacsony attribúció együttesen jelzi a hallucinációt. Egyetlen pontszám sosem veszi észre ezt a kombinációt, ami például egy 0.525-ös pontszámnál, 0.5-ös átlépési küszöb mellett, könnyen átcsúszhat.
A hallucinációk fátyla
Ez a rendszer döntéshozó motorként működik a LLM kimenete és a felhasználó között. Eldönti, hogy a választ ki kell-e szolgálni, újra kell-e próbálni, vagy teljesen újra kell-e generálni. Különösen hasznos RAG (Retrieval-Augmented Generation) rendszerek és többfordulós chatbotok esetében, ahol a téves válaszok könnyen bejuthatnak, és a válaszokat idővel ellenőrizni kell.
A fejlesztés nyitott kapui
A fejlesztés teljes Python kóddal elérhető Emmimal P Alexander GitHub-tárhelyén, a Emmimal/llm-eval-layer címen, ahol 2024. március 15-ig 512 alkalommal töltötték le.