Többkamerás 3D-követést automatizál az NVIDIA új DeepStream verziója

Az NVIDIA DeepStream 9.1 bevezeti az AutoMagicCalib (AMC) és a Multi-View 3D Tracking (MV3DT) funkciókat. Ezek célja a kamera kalibráció automatizálása és az objektumok követésének egységesítése több kamera nézetén keresztül. Az újítások csökkentik a manuális beállítást és növelik a megbízhatóságot olyan területeken, mint a raktári biztonság vagy a kiskereskedelmi analitika.

Az AutoMagicCalib (AMC) leegyszerűsíti és automatizálja a kamera hálózat kalibrációs folyamatát. A DeepStream elemzi a meglévő videofájlokban vagy streamekben mozgó objektumok nyomvonalait. Az AMC automatikusan megbecsüli az egyes kamerák belső ( tiêuletlenség, torzítás) és külső (forgás, eltolás) paramétereit, így hozva létre a kalibrációs fájlokat a MV3DT számára. Az AMC opcionálisan használhatja a Visual Geometry Grounded Transformer (VGGT) modellt a nagyobb pontosság és robusztusság érdekében.

Kapcsolódó: Nvidia radarfeldolgozása

Az objektumok követése több nézetből

A Multi-View 3D Tracking (MV3DT) rendszer több, előzetesen kalibrált kamera érzékeléseit fésüli össze egy közös 3D koordinátarendszerben. Ez globálisan konzisztens objektumazonosítókat rendel hozzá, és az eredményeket kijelzőn, madártávlati nézetben, valamint Kafka üzenetként továbbítja a további feldolgozáshoz. A rendszer támogatja a PeopleNetTransformer, PeopleNet v2.6.3 és RT-DETR 2D detektor modelleket.

Kapcsolódó: Nvidia BEVPoolV3

A MV3DT a DeepStream trackert bővíti ki elosztott, többkamerás 3D követéssel egy hálózatba kapcsolt kamerarendszeren keresztül. Az egyes kamerák 2D-s észleléseket 3D koordinátákba vetítenek a talaj síkjára vonatkozó feltételezés alapján. A többnézetes asszociációs algoritmusok azonosítják az ugyanazon objektumhoz tartozó nyomvonalakat, és egyetlen, globálisan konzisztens objektumazonosítót rendelnek hozzá.

Kapcsolódó: Nvidia Isaac GR00T

Fejlesztői lehetőségek és platformtámogatás

A DeepStream 9.1 moduláris képességrendszert kínál, amely 13 ügynöki képességet foglal magában. Támogatja az olyan kódgeneráló ügynököket, mint a Claude Code és a Codex. Ez lehetővé teszi a fejlesztők számára, hogy természetes nyelvi parancsok segítségével építsenek ki többkamerás követési folyamatokat és automatizált kalibrációt. Az NVIDIA DeepStream GitHub repozitóriumban minden kód és referenciaalkalmazás elérhető.

Kapcsolódó: Apple streamelt asszisztensek

A DeepStream 9.1 támogatja a JetPack 7.2-t, ami felgyorsított teljesítményt biztosít a Jetson Orin és Thor edge platformokon. A teljes forráskód és a referenciaalkalmazások az NVIDIA DeepStream GitHub repozitóriumban érhetők el, megkönnyítve a rendszer bevezetését és testreszabását.

Kapcsolódó: Nvidia chatbot tesztelés