Pontatlan 3D-s látást javít a Point-VLM modelleknél az új módszer

A Point-Vision-Language modellek (Point-VLMs) gyakran szenvednek geometriai hallucinációtól, ahol a prediktált 3D-s struktúrák ellentmondanak a megfigyelt 2D-s valóságnak — írja az arXiv-on megjelent előnyomtatott tanulmány.

A kutatók szerint a probléma oka nem a reprezentáció szűk keresztmetszete, hanem a megerősítéses tanulásban lévő strukturális eltérés. Ennek során a ritka geometriai tokeneket elnyomják a zajos, széles körben sugárzott szekvencia-szintű jutalmak, ami pontatlan 3D-s értelmezéshez vezet.

Célzott visszajelzés a pontosságért

A probléma megoldására a kutatók a Geometric Reward Credit Assignment (GRCA) keretrendszert javasolják. Ez a módszer a holisztikus felügyeletet szakterület-specifikus jelekre bontja, és azokat kizárólag a felelős token-tartományokhoz irányítja.

A GRCA mechanizmus a homályos visszajelzéseket pontos gradiensfrissítésekké alakítja, így a generikus irányelv-optimalizálást célzott strukturális összehangolássá változtatja. Ezáltal a modell sokkal pontosabb visszajelzést kap a 3D-s geometriai hibákról.

Emellett bevezettek egy Reprojection-Consistency (vetítési konzisztencia) nevű mechanizmust, amely fizikai korlátokat épít be a modellbe. Ez a kifejezés egy keresztmodális ellenőrzőként szolgál, segítve a modellnek a valósághűbb 3D-s struktúrák internalizálásában. A tanulmány az arXiv:2604.21160v1 azonosító alatt érhető el.