Az új pontozási eljárás 89%-os pontossággal állítja helyre az írásjeleket
A kutatók által kidolgozott új eljárás 0.893-as F1-pontszámot ér el írásjelek helyreállításában, ami jelentős előrelépés a korábbi módszerekhez képest.
Az automatikus beszédfelismerő (ASR) rendszerek olvashatóságát javítja az írásjelek helyes felismerése. A valós idejű rendszerek azonban korlátozott jövőbeli kontextussal dolgoznak, ami megnehezíti a pontos döntéshozatalt. A kutatók egy új, nem-autoregresszív pontozási módszert javasolnak, amely megőrzi a bemeneti átiratot, és minden szóhatáron döntést hoz.
Az új eljárás korlátozott számú jövőbeli token előretekintését (K) használja, és súlyozott pontozással dönt a beillesztett írásjelek és a beillesztés nélküli alapvonal között. A módszer nem igényel paraméterfrissítést az inferencia során, hanem egy validációval kalibrált küszöbértéket használ.
Kapcsolódó: zajos audio javítása
Javuló pontosság a beszédfelismerésben
Az IWSLT 2017 adatkészleten végzett tesztek alapján a módszer finomhangolás nélkül 0.893-as 4-osztályú makró F1-pontszámot ért el (K=2), finomhangolás után pedig 0.937-et. Ez jelentősen felülmúlja a prompt-alapú alapvonal 0.566-os, illetve a finomhangolt ELECTRA alapvonal 0.913-as eredményét azonos előretekintési költségvetés mellett.
Kapcsolódó: emberi preferencia jósolása
Ablációs vizsgálatok és jövőbeli irányok
A kutatók elemezték az előretekintési költségvetés (K) hatását is ablációs vizsgálatokkal. Az eredmények azt mutatják, hogy az új pontozási eljárás hatékonyan képes helyreállítani az írásjeleket streaming ASR rendszerekben, miközben minimalizálja a késleltetést. A FunASR toolkit, amely ipari szintű beszédfelismerést kínál több mint 30 nyelvhez, már tartalmazza az írásjel-helyreállítás funkciót, és fejleszti LLM-alapú ASR modelljeit, 2024 végére tervezett bemutatással.
Kapcsolódó: beszédfelismerés fejlesztése