Bitstream diffúzióval zárja az autoregresszív rést a nyelvmodellezésben az új megközelítés
A diffúziós nyelvmodellek (DLM) eddig elmaradtak az autoregresszív társaiktól a mintaminőség és a diverzitás terén, de az új megközelítés ezt a hiányosságot igyekszik felszámolni.
Új kutatás zárja be az autoregresszív rést a nyelvmodellezésben, egy entropia-kapuzott folyamatos bitfolyam diffúziós módszerrel — írja az ArXiv NLP.
A diffúziós nyelvmodellek (DLM) eddig elmaradtak az autoregresszív modellektől a mintaminőség és a diverzitás terén, különösen a standard benchmarkokon. Azonban a token-beágyazásokon alapuló legújabb folyamatos áramlási és diffúziós megközelítések már csökkentették ezt a különbséget, ami arra utal, hogy a folyamatos állapotterek rendkívül hatékonyak a nyelvi feladatoknál.
A kutatók most tovább szűkítik az autoregresszív rést azáltal, hogy a szöveget folyamatos diffúziós folyamatként modellezik, rögzített szélességű bináris bitfolyamok felett. Ez a megközelítés a szemantikai tokeneket analóg bitszekvenciákként reprezentálja, és egy illesztett szűrővel ellátott maradék paraméterezést használ, hogy a kontextuális tanulást elválassza az analitikus, független bit-poszterioroktól.
A kulcsfontosságú újdonság egy sztochasztikus mintavevő, amely Langevin-típusú korrekciókat alkalmaz, melyeket az entrópia-ráta profilja vezérel. Ez automatikusan a magas információtartalmú régiókban koncentrálja a sztochaszticitást, miközben másutt szinte determinisztikus marad. A módszert az One Billion Word adathalmazon tesztelték.