Két nagyságrenddel kevesebb memóriát használ a diffúziós híd
A NADB eljárás két nagyságrenddel csökkenti a diffúziós hidak memóriaigényét, miközben a képjavítási és -fordítási feladatok pontossága változatlan marad.
Az új Noise-Aligned Diffusion Bridge (NADB) eljárás megoldja a diffúziós hidak célvégpontjának alulillesztését, amely eddig jelentős pontatlanságokat okozott a képrestaurálás és -fordítás során. A kutatók szerint a probléma a hálózat bemenete és a regressziós célja közötti túlzott zajszint-eltérésből fakad.
A NADB újragondolja a diffúziós hidak működését. Először egy átlaghálózatot használ tisztább feltételes céltárgy biztosítására, majd egy új, zajhoz igazított leképezési kapcsolatot vezet be. Ez az új megfogalmazás orvosolja a zajszint-egyeztetési problémát és a célvégpont körüli alulillesztést.
Kapcsolódó: képgenerátor fejlesztés
A zajtalanítás kulcsa
A módszer hatékonyságát több képjavítási és képfordítási feladaton tesztelték. Az eredmények azt mutatják, hogy a NADB jelentősen csökkenti a memóriaigényt, miközben a pontosság megmarad.
Kapcsolódó: diffúziós modellek
A kutatás gyakorlati alkalmazása
A kutatók a kódot a GitHubon tették elérhetővé, 2024. február 15-én.
Kapcsolódó: Normalizing Flow modell