Új hibajavító módszert javasolnak a maszkolt diffúziós nyelvi modellekhez
A jelenlegi Token-to-Token (T2T) szerkesztési módszerrel szemben a T2M a gyanús tokeneket maszk állapotba állítja vissza, így a modell a kontextusból újra tudja jósolni azokat.
Új, tréningmentes módszert javasolnak a maszkolt diffúziós nyelvi modellek, például a LLaDA2.1 generációs hibáinak javítására — derül ki az arXiv-on megjelent előnyomtatott tanulmányból.
A kutatók szerint a jelenlegi Token-to-Token (T2T) szerkesztési eljárás, amelyet az ilyen modellek a hibák korrigálására használnak, három fő strukturális hibával küzd. Egyrészt a javítás nem indul el, ha nincs kellően magabiztos alternatív token. Másrészt a csere egy olyan kontextusban történik, amely maga is hibákat tartalmazhat. Végül pedig a T2T betanításához használt uniform perturbációk nem hasonlítanak azokra a koherens, szemantikailag is hihető hibákra, amelyeket a modell valójában elkövet az inferencia során.
A Token-to-Mask (T2M) remasking megoldása
Alternatívaként a Token-to-Mask (T2M) remasking módszert vezették be. Ez a megközelítés nem írja felül a gyanús tokent egy új tippel, hanem visszaállítja a pozíciót maszk állapotba. Így a következő zajcsökkentési lépés során a modell egy „in-distribution” kontextusból jósolja meg újra a tokent.
A T2M módszer teljesen tréningmentes, kizárólag a szerkesztési szabályt módosítja, és nem vezet be új paramétereket. Ez jelentős előny, mivel nem igényel további betanítási időt vagy számítási kapacitást. A tanulmány az arXiv:2604.18738v1 azonosító alatt érhető el, ahol részletesen bemutatják a módszer elméleti alapjait és működését.