Valós idejű videószerkesztést hoz a SANA-Streaming — 24 FPS-t ér el egyetlen GPU-n
A SANA-Streaming új AI-rendszer valós idejű videószerkesztést tesz lehetővé 24 FPS-sel, egyetlen RTX 5090 GPU-n, jelentősen javítva a temporalitást és a sebességet.
Valós idejű, nagy felbontású videószerkesztést tesz lehetővé a SANA-Streaming, egy új AI-rendszer, amely egyetlen NVIDIA RTX 5090 GPU-n képes 1280 x 704 felbontásban 24 képkocka/másodperc sebességgel dolgozni. A megoldás a játék- és élő adások interaktivitását célozza, ahol a gyorsaság és a képkockák közötti konzisztencia kulcsfontosságú — közölték a kutatók az arXiv-en.
A SANA-Streaming technológiájának alapja egy hibrid Diffusion Transformer architektúra, amely a softmax attentiont használja a helyi modellezés javítására, miközben megőrzi a lineáris rétegek hatékonyságát. Ez a DiT-mag 58 FPS-es sebességet ér el önmagában.
Kapcsolódó: Élő videó átalakítás
A szemantikai konzisztencia kulcsa
A rendszer újdonsága a Cycle-Reverse Regularization képzési stratégia, amely a forráskockák előrejelzésével biztosítja a szemantikai konzisztenciát, így nincs szükség hosszú, párosított szerkesztett videókra a betanításhoz.
Kapcsolódó: Veo 3.1 Lite
A hatékonyságot tovább növeli a rendszer és az algoritmus összehangolt tervezése. Ez magában foglalja a NVIDIA Blackwell architektúrára optimalizált, összefűzött GDN kernel-eket és a Mixed-Precision Quantization (MPQ) technikát.
Kapcsolódó: GPU-alapú videógenerálás
Videószerkesztés a következő szinten
Kísérleti eredmények igazolják, hogy a SANA-Streaming megközelítése jelentősen felülmúlja a jelenlegi legjobb módszereket mind a temporalitás, mind a rendszer átviteli sebessége terén. A kutatás rávilágít arra, hogy az AI-alapú videószerkesztés új szintre léphet a fogyasztói hardvereken, mint például az NVIDIA RTX 5090 GPU-n, 2024-ben várható további fejlemények.
Kapcsolódó: Vizuális asszisztens teljesítmény