MotionMERGE: Új rendszerrel finomhangolható az emberi mozgás AI-generálása
A rendszer a mozgást időbeli és testrész-szinten is modellezi egyetlen nagyméretű nyelvi modellen (LLM) belül, így sokkal pontosabb vezérlést biztosít.
Új, egységes keretrendszert fejlesztettek ki MotionMERGE néven, amely áthidalja a mozgás-nyelvi modellek eddigi granularitási hiányosságait. A jelenlegi modellek ugyan képesek a mozgás megértésére és generálására, de hiányzik belőlük a finomhangolt, testrészekre kiterjedő kontroll, ami az animációkhoz vagy interakciókhoz elengedhetetlen — írja az ArXiv CV.
Ez a korlát a modellek és az adatok alapvető problémáiból ered: a modellek nem tudnak a mozgás lokalizált mintázataira fókuszálni, a betanító adatokból pedig hiányzik a finomhangolt felügyelet. A MotionMERGE explicit módon modellezi a mozgást testrész- és időbeli szinten egyetlen LLM-en belül, robusztus előzetes ismereteket biztosítva a precíz vezérléshez.
A kutatók úttörő munkát végeztek a finomhangolt, nyelvi alapú mozgásvezérlés terén, amely magában foglalja a részletes megértést és a lokalizált szerkesztést is. Emellett egy új, úgynevezett ReasoningAware Granularity-Synergy előzetes betanítási stratégiát is kidolgoztak, amely közös felügyeletet alkalmaz a több granularitású összehangoláshoz, az időbeli földeléshez és a lokalizáláshoz.