Orvosi AI-asszisztensekhez gyűjtött egocentrikus videóadatbázist a DARPA
Az EgoMAGIC adatbázis célja az orvosi feladatokhoz kapcsolódó AI-percepciós algoritmusok képzése, ami alapvető lehet a jövőbeli AR-alapú asszisztensek számára.
Új, egocentrikus orvosi videó adatbázist tett közzé a DARPA, az úgynevezett EgoMAGIC-et, amely az orvosi feladatokhoz kapcsolódó AI-percepciós algoritmusok képzését segítheti — derül ki az arXiv-on megjelent előnyomtatott tanulmányból.
Az adatbázis a DARPA Perceptually-enabled Task Guidance (PTG) programjának részeként jött létre. A PTG program elsődleges célja olyan virtuális asszisztensek fejlesztése volt, amelyeket kiterjesztett valóság (AR) headsetekbe integrálva segíthetik a felhasználókat komplex feladatok elvégzésében. Az EgoMAGIC összesen 3355 videót tartalmaz, amelyek 50 különböző orvosi feladatot mutatnak be, feladatonként legalább 50 címkézett videóval.
Akciódetektálási kihívás és YOLO modellek
A kutatók az orvosi képzési adatokat egy akciódetektálási kihívással együtt tették közzé, amely nyolc specifikus orvosi feladatra fókuszál. A videók többségét fejre szerelt sztereó kamerával rögzítették, beépített hangrögzítéssel.
Az adatbázisból már 40 YOLO modellt is betanítottak, amelyek 1,95 millió címke felhasználásával 124 különböző orvosi tárgyat képesek detektálni. Ez robusztus kiindulópontot biztosít a fejlesztőknek, akik orvosi AI-alkalmazásokon dolgoznak az EgoMAGIC adathalmazzal.