FLUID: GPT-modelleket adaptál a diffúziós generáláshoz a Stanford kutatói
A Stanford és a Google Robotics kutatói bemutatták a FLUID nevű keretrendszert, amely lehetővé teszi a meglévő GPT-stílusú modellek hatékony adaptálását diffúziós szöveggeneráláshoz.
A diffúziós modellek hatékony párhuzamos szöveggenerálást ígérnek, ám a meglévő autoregresszív (AR) modellekkel való inkompatibilitásuk megakadályozza a robusztus AR-elvek újrahasznosítását. Ez eddig drága, nulláról indított újratanítást igényelt.
A kutatók FLUID néven keretrendszert dolgoztak ki, amely áthidalja ezt a szakadékot. A 'Strictly Causal Alignment' (Szigorúan Kauzális Igazítás) elvének betartásával a FLUID zökkenőmentes inicializálást tesz lehetővé standard GPT-stílusú ellenőrzőpontokból, így elkerülhető a nagymértékű újratanítás. A keretrendszer emellett bevezet egy 'Elastic Horizons' (Rugalmas Horizontok) nevű, entrópa-vezérelt mechanizmust, amely dinamikusan szabályozza a zajcsökkentési lépéseket a helyi információ sűrűsége alapján, fix ütemtervek helyett.
A kísérletek kimutatták, hogy a FLUID csúcsteljesítményt ér el, miközben a betanítási költségeket nagyságrendekkel csökkenti. Ez hatékonyan egyezteti össze a meglévő AR-alapokat a párhuzamos generálás hatékonyságával.
A kutatók kódja elérhető a GitHubon.