1500 videómintát tartalmaz az új SyriSign adathalmaz a szíriai arab jelnyelv fordításához
A SyriSign adathalmaz fejlesztésében 20 kutató vett részt, akik 6 hónapon keresztül dolgoztak a projektön
Az új SyriSign adatbázis 1500 videót tartalmaz, mely 150 egyedi szíriai arab jelnyelvi jelet reprezentál. A projektben 20 kutató dolgozott, akik hat hónapig összpontosítottak a szíriai arab jelnyelv (SyArSL) nyelvi adatgyűjtésére.
Szíriában a legtöbb hírt és információt szóban vagy írott arab nyelven közlik, ami a sikertelenül hallható közösség számára jelentős kommunikációs akadályt jelent. A SyriSign célja, hogy ezeket a korlátokat enyhítse, és lehetővé tegye a jelnyelvi fordítások fejlesztését.
A kutatók a datasetet három mélytanulási architektúrával vizsgálták: a MotionCLIP-et a szemantikus mozgás generálására, a T2M‑GPT-t szöveg‑alapú mozgás szintéziséhez, valamint a SignCLIP-et a kettős nyelvi beágyazási illesztéshez. A tesztek erőteljes potenciált mutattak a generatív megközelítésekben.
Az új adatbázis elősegíti a szíriai arab jelnyelvi technológiák kutatását, és kitölti a nyelvi erőforrások hiányát, amely korábban csak magas erőforrású jelnyelvekhez tartozott.
A következő lépés a SyriSign alapján készült modellek továbbfejlesztése, hogy valós idejű, pontos jelnyelvi fordításokat nyújtsanak a szíriai DHH közösség számára.