Embodied3DBench: 21 ezer kérdés teszteli a robotok mély térbeli tudását

A robotok térbeli intelligenciájának mérésére új teljesítménytesztet mutatott be egy kutatócsoport, amely az Embodied3DBench nevet kapta. Az eszköz a robotok alacsony szintű, 3D-s környezetben való eligazodási képességeit teszteli, és hat fő kategóriába sorolható feladatokat tartalmaz.

A tesztelés két fő csoportra oszlik: a térbeli szerkezeti megértésre (Grounding, Spatial Relation Prediction, Multi-view Correspondence) és az interakcióorientált percepcióra (Affordance Prediction, Grasp Point Prediction, Trajectory Prediction). A teljesítményteszt összesen 12 alkategóriát foglal magában, és több mint 21 ezer kérdés-válasz párt tartalmaz, melyek magas minőségűek — írja az arXiv.

Kapcsolódó: AI térbeli memória

A térbeli intelligencia mélyebb rétegei

A kutatók 13 különböző, jelenleg elérhető legfejlettebb modellt teszteltek. Az eredmények azt mutatják, hogy bár a modellek viszonylag jól teljesítenek a magasabb szintű térbeli érvelésben, mint például az objektumok közötti pozíciós viszonyok megértése, az interakcióorientált percepció terén továbbra is törékenyek. Ez jelentős hiányosságot jelez a robusztus, 3D-tudatos interakciós előzményekben.

Kapcsolódó: nagyméretű modellek

Új utak a térbeli tanulásban

A hiányosságok áthidalására a kutatók egy nagyszabású, 1,3 millió kérdés-válasz párt tartalmazó képzési adathalmazt is szintetizáltak. A finomhangolás ezen az adathalmazon jelentős javulást eredményezett az alacsony szintű térbeli intelligenciában. A kutatás eredményeit az arXiv oldalán tették közzé, 2024. március 10-én.

Kapcsolódó: 3D primitívek