Új algoritmus gyorsítja a diffúziós nyelvi modelleket: 2,2-szeres sebesség a Dream-7B-n
A DEMASK nevű új módszer egy könnyűsúlyú függőségi előrejelzővel oldja fel a párhuzamos dekódolás problémáját, amely korábban rontotta a kimeneti minőséget.
A diszkrét diffúziós nyelvi modellek (dLLM-ek) felgyorsítják a szöveggenerálást, mivel több tokent is lelepleznek párhuzamosan — írja az ArXiv NLP.
A párhuzamos dekódolás azonban elosztási eltérést okoz. Ez a folyamat a közös feltételes valószínűséget egy teljesen faktorált, tokenenkénti marginálisok termékével közelíti, ami rontja a kimeneti minőséget, ha a kiválasztott tokenek erősen függenek egymástól.
A kutatók most a DEMASK (DEpendency-guided unMASKing) nevű módszert javasolják. Ez egy könnyűsúlyú függőségi előrejelző, amely a dLLM végső rejtett állapotaihoz csatlakozik. Egyetlen előremenő lépésben becsüli a maszkolt pozíciók közötti páros feltételes hatásokat.
Ahol a függőség számít
Ezeket az előrejelzéseket felhasználva egy mohó kiválasztási algoritmus azonosítja azokat a pozíciókat, amelyek korlátozott kumulatív függőséggel rendelkeznek az egyidejű leleplezéshez. A szubadditivitási feltételezés mellett a szakértők bizonyították, hogy ez korlátozza a teljes variációs távolságot a párhuzamos mintavételezés és a modell közös kimenete között.
Empirikusan a DEMASK 1,7-2,2-szeres sebességnövekedést ér el a Dream-7B modellen, miközben fenntartja vagy javítja a kimeneti minőséget.