Új adatkészlet segíti a jelnyelvi AI-modellek nyelvi jelenségek megértését
A jelnyelvi modellek fejlesztése eddig elmaradt a beszélt nyelvi modellek mögött, de egy új teljesítményteszt adatkészlet, az ASL-MTP, most célzott elemzést tesz lehetővé.
Egy új teljesítményteszt adatkészletet, az úgynevezett ASL Minimal Translation Pairs (ASL-MTP) eszközt mutattak be kutatók, amely az amerikai jelnyelv (ASL) nyelvi jelenségeinek célzott elemzésére készült — írja az arXiv előnyomtatott tanulmánya.
A jelnyelvi modellek fejlesztése történelmileg elmaradt a beszélt nyelvi (szöveg és beszéd) modellek mögött. Bár az utóbbi időben jelentősen javult a jelnyelvi fordítás és az izolált jelek felismerésének teljesítménye, továbbra sem egyértelmű, hogy a meglévő modellek milyen mértékben képesek megragadni a jelnyelv különféle nyelvi jelenségeit, és mennyire használják jól a jelnyelvben alkalmazott több artikulációs jel (kéz, felsőtest, arc) jeleit.
A nyelvi elemzés mélyebb rétegei
Az ASL-MTP adatkészletet több típusú jelnyelvi jelenségre és a hozzájuk tartozó minimális fordítási párokra osztották fel. Ez a struktúra lehetővé teszi a modellek mélyreható nyelvi elemzését. Egy esettanulmányban az ASL-MTP segítségével elemeztek egy élvonalbeli ASL-angol fordítómodellt.
A modellek korlátainak feltárása
A kutatók célzott elemzést végeztek a modellen, különböző bemeneti jeleket (például kézmozgás, arckifejezés) eltávolítva a betanítás és az inferencia során, majd az ASL-MTP jelenségein értékelték a modell teljesítményét. Az eredmények rávilágítanak a jelenlegi modellek korlátaira és a jövőbeli fejlesztési irányokra a jelnyelvi AI területén, különösen az arXiv:2604.27232v1 tanulmány szerint. A kutatás 2024. április 15-én került publikálásra az arXiv oldalán.