Új AI-modell javítja az objektumkövetést: a FreqTrack a frekvenciát is figyeli
A mesterséges intelligencia alapú objektumkövetésben áttörést hozhat egy új keretrendszer, amely a hagyományos RGB-kamerák és az eseményérzékelők adatait a frekvenciatartományban egyesíti.
A komplex, dinamikus jelenetekben a hagyományos, egyetlen modalitású RGB-követők gyakran ütköznek teljesítménybeli korlátokba, miközben az eseményérzékelők bevezetése új lehetőségeket kínál a követési képességek javítására — írják az arXiv-on publikáló kutatók.
A legtöbb jelenlegi RGB-esemény fúziós módszer, melyeket elsősorban a térbeli tartományban terveztek konvolúciós, Transformer vagy Mamba architektúrákkal, nem használja ki teljes mértékben az eseményadatok egyedi időbeli válaszát és magas frekvenciájú jellemzőit — állítják a szakértők. Erre a problémára kínál megoldást a FreqTrack, egy frekvenciaérzékeny RGB-E követő keretrendszer, amely frekvenciatartománybeli transzformációkon keresztül komplementer intermodális korrelációkat hoz létre a robusztusabb jellemzőfúzió érdekében.
A frekvenciaalapú áttörés
A FreqTrack két fő komponenst tartalmaz. Az egyik a Spektrális Javító Transzformer (SET) réteg, amely többfejű dinamikus Fourier-szűrést alkalmaz a frekvenciatartománybeli jellemzők adaptív javítására és kiválasztására. Ez a modul kulcsfontosságú a frekvenciaalapú információk hatékony feldolgozásában.
Emellett a kutatók kifejlesztettek egy Wavelet Éldetektor Modult (WER) is. Ez a modul tanulható wavelet transzformációkat használ az élek explicit finomítására, ami tovább növeli a követés pontosságát és megbízhatóságát, különösen gyors mozgások vagy gyenge fényviszonyok esetén.
A jövő objektumkövetése
A FreqTrack keretrendszer az arXiv:2604.14526v1 számon jelent meg előnyomtatott formában, és a kutatók remélik, hogy ez a technológia 2024-ben további fejlesztéseken megy keresztül a Google és az MIT együttműködésében.