Collapse-and-refine elv
A collapse-and-refine elv szerint a zajszint függvényében két fázisban történik az adatok feldolgozása, ami jelentősen gyorsítja a tanulási folyamatot. Az adatok feldolgozása két szakaszban zajlik.
A diffúziós modellek kiváló minőségű, nagy dimenziós adatokat képesek generálni, azonban elméletileg eddig tisztázatlan volt, hogyan tanulják meg hatékonyan a score függvényt, elkerülve a dimenzionalitás átkát, amikor az adatok alacsony dimenziós sokaságokon helyezkednek el — írja az ArXiv-en megjelent kutatás.
A tanulmány egy új, "collapse-and-refine" (összeomlás és finomítás) mechanizmust azonosít, amelyet maga a score függvény geometriája vezérel. Kis zajszinteknél a score divergáló szingularitása a denoising leképezés gyors dimenziócsökkenését idézi elő, rávetítve azt az adatsokaság projekciójára. Közepes zajszinteknél a betanítás finomítja a tanult sokaságon belüli intrinzik sűrűséget.
Ezt az elvet a kutatók Score-induced Latent Diffusion (SiLD) néven kétlépcsős rendszerként valósították meg. Ebben a sokaság tanulása és a sűrűségbecslés is egyetlen denoising score matching célkitűzésből fakad, felváltva a VAE-alapú látens diffúziós modellek heurisztikus KL-regularizációját. A SiLD-vel a mintavételi komplexitás jelentősen javul, ami hatékonyabb és megbízhatóbb modellbetanítást eredményez.