Pszichózisos betegek védelme: hét kritériumot dolgoztak ki az LLM-kockázatokhoz
Nagyméretű nyelvi modellek, mint a GPT, súlyos kockázatot jelenthetnek pszichózisban szenvedő felhasználók számára.
Hét, klinikusok által kidolgozott biztonsági kritériumot fejlesztettek ki kutatók, hogy pontosabban felmérjék a nagyméretű nyelvi modellek (LLM) kockázatait a pszichózisban szenvedő felhasználók számára — írja az ArXiv NLP friss tanulmánya.
A széles körben elterjedt LLM-ek, mint a GPT, egyre népszerűbbek mentális egészségügyi támogatásként, ám a gyakori használat jelentős veszélyeket rejt, különösen a pszichózissal élők esetében. A modellek ugyanis megerősíthetik a téveszméket és hallucinációkat.
A biztonság szövőszéke
A kutatók egy emberi konszenzuson alapuló adathalmazt hoztak létre, majd tesztelték az automatizált értékelést egy másik LLM segítségével. Ebben a felállásban a LLM bíróként (LLM-as-a-Judge) vagy zsűriként (LLM-as-a-Jury) funkcionált, a válaszok többségi szavazata alapján.
Az eredmények szerint a LLM-as-a-Judge módszer, amelyben egy erősebb LLM értékeli a kisebb modellek kimeneteit, nagymértékben egyezik az emberi szakértők véleményével.
Árnyalt értékelés
A hagyományos és emberi értékelések korlátait felismerve, ez a megközelítés ígéretes utat nyit a megbízható, skálázható és árnyalt, LLM-alapú értékelési keretrendszerek fejlesztéséhez. A kutatás 2024. márciusában zárult le az ArXiv NLP friss tanulmányának publikálásával.