Új AI-rendszer segíti a látássérülteket a mindennapokban — a NetraLink valós idejű segítséget nyújt
A rendszer különösen a mindennapi feladatokban, például közlekedés vagy olvasás során nyújt segítséget a felhasználóknak.
A multimodal large language model-ek (MLLM) forradalmasították a vizuális megértést azáltal, hogy képfelismerő egységeket integráltak nagyméretű nyelvi modellekkel. Ez az egységes architektúra erős teljesítményt tesz lehetővé olyan feladatokban, mint a képleírás, vizuális kérdések megválaszolása és multimodális párbeszéd, gyakran nulla- és kevésmintás beállításokban. Általános képességeik és rugalmas interfészeik révén a MLLM-ek ígéretes alapot jelentenek valós látás-nyelv alkalmazásokhoz — írja az arXiv.
A NetraLink rendszer egy fejen viselhető GoPro kamerát használ valós idejű, egocentrikus adatok rögzítésére, amelyek alapján a kutatók teljesítménytesztet végeztek. A teszt a mindennapi tárgyak, például pénz felismerését, jelenlegi szövegek alapján történő kérdésválaszolást és többnyelvű tartalom olvasását foglalja magában — közölte a kutatócsoport.
Kapcsolódó: LatentRouter multimodális AI választás
A NetraLink rendszer és a tesztelés
Ebben a munkában azt vizsgáljuk, hogy a MLLM-ek képesek-e támogatni a segítő AI-t valós feladatokon keresztül. A NetraLink rendszer különösen a látássérültek mindennapi feladataiban, például közlekedés vagy olvasás során nyújt segítséget a felhasználóknak. A rendszer valós idejű adatfeldolgozás révén gyors és pontos visszajelzést ad a felhasználóknak.
Kapcsolódó: MoE LLM következtetési gyorsítás
MLLM-ek erősségei és korlátai
A NetraLink által végzett tesztek átfogó diagnosztikát nyújtanak a jelenlegi MLLM-ekről. Eredményeink kiemelik az általuk kínált lehetőségeket a vizuális észlelésen, valamint a nyelvi interakción alapuló segítő technológiák terén, ugyanakkor feltárják jelenlegi korlátaikat is. A kutatás célja, hogy jobban megértsük, hogyan tudják ezek a modellek valósághűen támogatni a felhasználókat a mindennapi életben.
Kapcsolódó: Vizuális hallucináció csökkentés
A kutatók szerint a NetraLink rendszer jelenleg különösen hatékony a pénzfelismerés és a többnyelvű szövegolvasás feladatokban.
Kapcsolódó: Biomedicinai AI látásvizsgálat