Tízszer gyorsabb videógenerálás a Microsoft Mirage modelljével — 55-szörös memóriahatékonyság

A Microsoft Research és több egyetem kutatói bemutatták a Mirage nevű új videóvilág-modellt, amely képes megőrizni a generált jelenetek térbeli szerkezetét még hosszú kameramozgások során is. A rendszer ahelyett, hogy a drága pixeles 3D pontfelhőkön keresztül menne, a képi jellemzőket közvetlenül a modell belső latens terének térbeli memóriájában tárolja.

A Mirage akár 10,5-szer gyorsabb videógenerálást tesz lehetővé, miközben akár 55-ször kevesebb memóriát használ a hasonló modellekhez képest. A mozgó objektumokat azonban továbbra is kiszűri a memóriából a rendszer.

Kapcsolódó: olcsóbb képalkotás

A videóvilág-modellek egy kiinduló képkockát és egy kamerabejárási útvonalat alakítanak át életszerű mozgó képekké, amelyek szimulációkhoz vagy világ-szimulátorokként hasznosak. Említésre méltó, hogy a Voyager, WonderWorld és Spatia rendszerek 3D pontfelhőket használnak, amelyeket folyamatosan színes adatokkal táplálnak. Minden új generációs lépésnek újra kell renderelnie ezt a felhőt, majd vissza kell fordítania a modell belső jellemzőterébe.

Kapcsolódó: videó készítés

A Mirage modell működése

A Mirage ezzel szemben más megközelítést alkalmaz. Ahelyett, hogy a látható színpontokat tartaná meg, a már használt belső képi jellemzőket tárolja. Minden jellemző kap egy helyet a 3D térben, ami bejegyzéssé válik a térbeli memóriában. Az új nézőpont generálásához a modell közvetlenül a célkamerára vetíti ezt a tárolót, és az eredményt átadja a generátornak, kihagyva a pontfelhő renderelésének és újrakódolásának lépését.

Kapcsolódó: felejtési tesztek

Hatékonyabb és könnyebb, mint a szín-alapú riválisok

A WorldScore teljesítményteszten a Mirage felülmúlja legközelebbi riválisát, a Spatiát, amely továbbra is színpontokként tartja meg a memóriát, és messze maga mögé utasítja az olyan általános videógenerátorokat, mint a Wan2.1 és a CogVideoX. Különösen jól teljesít a jelenetek térbeli szerkezetének összetartásában és a felületek konzisztens megjelenítésében több képkockán keresztül. A RealEstate10K adatkészleten a zárt hurkos tesztben három metrika közül kettőben is vezet. A Mirage számítási költsége képkockánként alig változik az első szegmens után. A kutatók a teljes nyereséget akár 10,57-szer gyorsabb generálásnak és akár 55-ször kevesebb memóriának becsülik a szín-alapú rendszerekhez képest. A Microsoft egy GitHub adattárat is fenntart a Latent Spatial Memory számára, ahol további információk találhatók a Mirage-ról.

Kapcsolódó: videó generálás