ProtoMedAgent: Új rendszerrel zárja ki a klinikai AI-hallucinációt az ArXiv kutatása
A ProtoMedAgent rendszer az orvosi dokumentációban gyakori „retrieval sycophancy” jelenséget küszöböli ki, ahol a nyelvi modellek téves magyarázatokat generálnak a vizuális előrejelzésekhez.
Új módszert dolgoztak ki kutatók a multimodális klinikai diagnosztikában felmerülő AI-hallucinációk megelőzésére – írja az ArXiv-en megjelent tanulmány. A ProtoMedAgent nevű keretrendszer célja, hogy a prototípus-hálózatok nyers kimeneteit szemantikailag strukturált, orvosi dokumentációhoz megfelelő formába alakítsa, miközben megakadályozza a téves narratív állításokat.
A hagyományos Retrieval-Augmented Generation (RAG) módszerek gyakran vezetnek „retrieval sycophancy” jelenséghez, ahol a nagyméretű nyelvi modellek (LLM-ek) utólagos racionalizációkat találnak ki, hogy illeszkedjenek a vizuális előrejelzésekhez. A ProtoMedAgent ezt egy iteratív, nulla gradiensű tesztidejű optimalizálási problémaként kezeli, szigorú neuroszimbolikus szűk keresztmetszeten keresztül.
A rendszer egy rögzített prototípus-alapra épül, amely a látens vizuális és táblázatos jellemzőket diszkrét szemantikai memóriává desztillálja. Az online generálást pontos halmazelméleti differenciálok és egy reflektív Scribe-Critic hurok korlátozza, ami matematikailag kizárja a megalapozatlan narratív állításokat. Emellett a ProtoMedAgent egy szemantikai adatvédelmi mechanizmust is bevezet az adatszivárgás biztonságos korlátozására.
A tanulmány szerint a ProtoMedAgent egy multimodális betegesetet, például egy lumbális DEXA-vizsgálatot és egy betegnyilvántartást dolgoz fel. A rendszer a nyers vizuális példányokat és táblázatos statisztikákat egy sor dedikált ügynök (Vision, Tabular) segítségével egyezteti, így biztosítva a pontos és megalapozott klinikai jelentéseket. A kutatást Alvaro Lopez Pellicer és öt társszerző jegyzi.