A ClauseCompose dekóder 95,7%-os pontosságot ér el ismeretlen szándékpárokon
A ClauseCompose dekóder egy könnyen tanítható modell, amely csak egyes szándékokon való betanítást igényel.
A kutatók az arXiv NLP cikkben bemutatták a CoMIX-Shift benchmarket, amely szigorúan teszteli a modellek kompozíciós általánosítását új szándékpárok felismerésére. A teljesítményteszt tartalmaz zárt szándékpárokat, diskurzusminta-eltéréseket, hosszabb és zajos körzetelemeket, valamint zárt szintaktikai sablonokat.
ClauseCompose, a könnyű dekóder, csak egyes szándékokon való betanítást igényel. Ez a megközelítés egyszerűbb és gyorsabb, mint a hagyományos teljes mondat alapú finomhangolás.
Az eredmények kimutatták, hogy ClauseCompose 95,7 % pontos exact match értéket ér el új, ismeretlen szándékpárokon, 93,9 % a diskurzus-eltéréseken, 62,5 % a hosszabb/zajos párokon, 49,8 % a zárt sablonokon, valamint 91 % a többi teszten.
Ez a teljesítmény jelentős előrelépés a multi-intent detection területén, mert a modell képes új kombinációkat felismerni anélkül, hogy explicit módon tanulna minden lehetséges párt.
Jelenleg a kutatók a következő lépéseket vizsgálják: a dekóder finomhangolása több nyelven és a CoMIX-Shift bővítése további zajos forgatókönyvekkel.