SalsaAgent: Emberrel és zenére táncol az új AI modell

A SalsaAgent egy új, multimodális nyelvi modell, amely képes emberi táncosokkal interakcióba lépni, és zenére koreografált, teljes testet mozgató salsa mozdulatokat generálni. A modell a szociálisan érett robotok és interaktív virtuális ügynökök fejlesztését célozza, képes reagálni egy emberi vezető mozdulataira, miközben a zene kontextusát is figyelembe veszi.

A kutatók az interakciót nonverbális mozdulatok átadásaként fogalmazták meg. Ehhez kibővítették egy nagy nyelvi modell (LLM) szókincsét, hogy képes legyen diszkrét mozdulat-tokeneket, párkapcsolati tokeneket és audioadatokat feldolgozni. Az új tokenek a teljes test mozgásához és a mozdulatok közötti kapcsolatokhoz kapcsolódnak.

Kapcsolódó: emberi érzelem szerepe

A modell finomhangolása automatikusan generált leírások segítségével történt, amelyek a csontváz dinamikáját írják le. Ez a folyamat biztosítja a tokenek megfelelő kontextusba helyezését. A generálási folyamat két lépésben valósul meg: először tokenekre bontja a bemenetet, majd egy kétszakaszos token-to-diffusion folyamat segítségével hozza létre a táncmozdulatokat.

Kapcsolódó: képgenerálás fejlődése

A szubjektív és objektív értékelések is alátámasztják a SalsaAgent hatékonyságát. A modell kiemelkedő mozgásminőséget, zenei és partnerkoordinációt, valamint konzisztens kétfős térbeli viselkedést mutatott, jelentős javulást elérve a korábbi módszerekhez képest.

Kapcsolódó: emberi mozgás szimuláció