Tízezer fejről tanult az Apple és az ETH Zürich 3D-s HeadsUp modellje
Az új technológia a többkamerás felvételeket hatékonyan tömöríti, majd UV-paraméterezett 3D Gauss-eloszlásokká alakítja, ami nagy felbontású bemeneti adatok feldolgozását teszi lehetővé.
Több mint tízezer alanyról készült belső adatkészleten tanult az Apple és az ETH Zürich közös fejlesztésű HeadsUp modellje, amely állítólag magas minőségű 3D fejeket képes rekonstruálni többkamerás felvételekből — írja az Apple Machine Learning Research.
A HeadsUp egy skálázható, előrecsatolt módszer, amely egy hatékony enkóder-dekóder architektúrát használ a bemeneti nézetek kompakt látens reprezentációvá tömörítésére. Ezt a látens reprezentációt egy semleges fej sablonhoz rögzített UV-paraméterezett 3D Gauss-eloszlásokká dekódolja.
Ez az UV-reprezentáció elválasztja a 3D Gauss-eloszlások számát a bemeneti képek számától és felbontásától, lehetővé téve a betanítást sok nagy felbontású bemeneti nézettel. A modell egy belső adatkészleten lett kiképezve, amely állítólag nagyságrendekkel nagyobb, mint a jelenleg létező többnézetes emberi fej adatkészletek.
A látens tér feltérképezése
A HeadsUp állítólag állami szintű rekonstrukciós minőséget ér el, és új identitásokra is általánosít tesztidőbeli optimalizálás nélkül. A kutatók alaposan elemezték a modell skálázási viselkedését identitások, nézetek és modellkapacitás tekintetében, gyakorlati betekintést nyújtva a minőség-számítási kompromisszumokba.
A modell alkalmazási lehetőségei
A látens tér erejét két további alkalmazással is bemutatták: új 3D identitások generálásával és a 3D fejek animálásával kifejezési blendshape-ek segítségével. A HeadsUp fejlesztésében Evangelos Ntavelis, Sean Wu, Mohamad Shahbazi és további 20 kutató vett részt az Apple és az ETH Zürich részéről, és a modell 2024-ben kerül bevezetésre.