Javítja a maszkolt diffúziós modellek teljesítményét az önszabályozás
A maszkolt diffúziós modellek (MDM) eddig korlátozottan tudták finomítani a még maszkolt pozíciókat, de egy új módszer ezen változtat.
A maszkolt diffúziós modellek (MDM) diszkrét szekvenciákat generálnak iteratív zajtalanítással, egy elnyelő maszkolási folyamat alatt — derül ki az arXiv-on előnyomtatott formában megjelent tanulmányból.
A standard maszkolt diffúziós modellek eddig elvetették a tiszta állapotú előrejelzéseket a még maszkolt pozíciók esetében. Ez a tervezési döntés korlátozta a lépések közötti finomítást, mivel a maszkolt pozíciókat újra és újra csak a maszk tokenből kellett kikövetkeztetni.
Ezt a korlátot oldja fel az új, önszabályozó adaptáció, a Self-Conditioned Masked Diffusion Models (SCMDM). A módszer minden zajtalanítási lépést a modell saját korábbi tiszta állapotú előrejelzéseihez igazít, minimális architekturális változtatással.
A SCMDM nem vezet be rekurrens látens állapotú útvonalat, nem támaszkodik segédreferencia modellre, és nem igényel extra denoiser kiértékeléseket a mintavételezés során. Ez jelentős előrelépést jelent a szekvenciagenerálás hatékonyságában, anélkül, hogy növelné a számítási igényt.