LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
A LAMP rendszer javítja az egocentrikus kamerák 3D emberi mozgáskövetését. Az erős egomotion, részleges láthatóság és elzáródások okozta kihívásokat oldja meg.
Az egocentrikus, többkamerás headsetekből származó 3D emberi mozgás követését nehezíti az erős egomotion, a részleges láthatóság és az elzáródások — állítják a LAMP (Localization Aware Multi-camera People Tracking) projekt kutatói az arXiv-on előzetesen megjelent tanulmányukban.
A meglévő, monokuláris videókra tervezett módszerek gyakran kudarcot vallanak a dinamikus, egocentrikus felvételeken, mivel statikus vagy lassan mozgó kamerákat igényelnek. Emellett nem képesek hatékonyan kihasználni a többnézetes, kalibrált és lokalizált bemeneti adatokat, ami miatt instabilak és hajlamosak a hibákra.
A LAMP egy kétlépcsős, úgynevezett „lift-then-fit” megközelítést alkalmaz. Először a rendszer a detektált 2D test kulcspontokat, amelyek több kamerából érkeznek egy időablakon keresztül, egységes 3D világkoordináta-rendszerbe konvertálja. Ehhez a készülék ismert 6 DoF (szabadságfokú) mozgását és kalibrációját használja fel.
Második lépésben egy végponttól végpontig betanított spatio-temporális transzformer illeszti a 3D emberi mozgást ehhez a 3D sugárfelhőhöz. Ez a megközelítés lehetővé teszi a LAMP számára, hogy hatékonyan megtanulja és kihasználja a többnézetes geometriai és lokalizációs információkat.
A kutatók szerint ez a módszer jelentősen javíthatja a virtuális és kiterjesztett valóság alkalmazásokban, valamint a robotikában használt mozgáskövetési pontosságot. A LAMP kutatás előnyomtatott formában érhető el az arXiv-on, a további fejlesztések a jövőben várhatóak.