Valósághű 3D szaúdi jelnyelvi avatarokat hoz létre egyetlen videóból a Tamaththul3D
Az új rendszer az első, amely kiváló minőségű 3D parametrikus annotációkat biztosít az Ishara-500 szaúdi jelnyelvi adatkészlethez, 500 kulturálisan autentikus jelhez.
Valósághű 3D szaúdi jelnyelvi avatarok generálására alkalmas rendszert fejlesztettek ki kutatók, amely egyetlen videó bemenetből dolgozik — írja az arXiv előnyomtatott tanulmánya. A Tamaththul3D névre keresztelt folyamat kifejezetten az arab jelnyelv (ArSL) egyedi artikulációs mintázataihoz készült.
Az arab jelnyelv és dialektusai körülbelül 400 millió arab ajkú embert szolgálnak ki világszerte, ám a közösség eddig hiányt szenvedett a kiváló minőségű 3D parametrikus annotációkban és a speciális rekonstrukciós módszerekben, amelyek elengedhetetlenek az avatarok generálásához. Ezt a kritikus hiányt igyekszik orvosolni a Tamaththul3D.
A rendszer két fő hozzájárulással bír: egyrészt bevezeti az első magas minőségű 3D parametrikus annotációkat az Ishara-500 szaúdi jelnyelvi adatkészlethez, pontos SMPL-X paramétereket biztosítva 500 kulturálisan autentikus szaúdi jelnyelvi jelhez. Másrészt maga a Tamaththul3D egy speciális rekonstrukciós folyamat, amelyet kifejezetten az ArSL egyedi artikulációs mintázataihoz terveztek.
A folyamat olyan komponenseket integrál, mint a SMPLer-X a robusztus testpozíció-becsléshez, a WiLoR a részletes kézfinomításhoz automatikus lokalizációval és tükrözéssel, valamint a MediaPipe a 2D pózfelügyelethez. A Tamaththul3D a kinematikai láncon alapuló csuklóigazítással, hibrid lengés-csavarás felbontással és 2D felügyelt ízületoptimalizálással éri el a jelenleg elérhető legpontosabb kézrekonstrukciót.
A rendszer célja, hogy áthidalja a hiányt a kiváló minőségű 3D parametrikus annotációk és a jelnyelvi avatarok generálásához szükséges speciális rekonstrukciós módszerek terén. A kutatók szerint a Tamaththul3D jelentős lépést jelent a jelnyelvi kommunikáció digitalizálása felé, különösen a 400 milliós arab ajkú közösség számára.