Pontosabb bőrrák-diagnózist ígér a JI-ADF keretrendszer három adatforrásból
A JI-ADF keretrendszer háromféle adatot, köztük klinikai fotókat és betegadatokat is integrál a bőrelváltozások osztályozásához, ami eddig hiányzott a számítógépes rendszerekből.
Új mélytanulási keretrendszert dolgoztak ki kutatók, amely a bőrelváltozások pontosabb diagnosztizálását célozza. A JI-ADF névre keresztelt modell háromféle adatot – dermatoszkópos képeket, klinikai fotókat és strukturált betegadatokat – fésül össze a klinikai alapú osztályozáshoz — derül ki az arXiv előnyomtatott tanulmányából.
A meglévő számítógépes rendszerek gyakran csak a dermatoszkópos képekre támaszkodnak, és nem használják ki a klinikai gyakorlatban rutinszerűen elérhető multimodális információkat. Ezt a hiányosságot igyekszik orvosolni a JI-ADF, amely a közös multimodális reprezentáció-tanulást ötvözi a modalitás-specifikus kiegészítő felügyelettel és egy adaptív döntésfúziós mechanizmussal.
Ez az adaptív mechanizmus dinamikusan súlyozza az egyes adatforrások hozzájárulását mintánként. A rendszerbe egy multimodális fúziós figyelem (MMFA) modult is beépítettek, amely a keresztmodális érvelést hivatott javítani, miközben megőrzi az egyes modalitásokra jellemző bizonyítékokat.
A JI-ADF keretrendszert a nagyméretű MILK10k teljesítményteszten értékelték, amely a valós klinikai adatgyűjtési körülményeket tükrözi.