A NVIDIA Universal Sparse Tensorral gyorsítja a mélytanulást — nvmath-python 0.9.0-ban debütál
Az új eszköz a ritka adatokkal dolgozó tudományos és mélytanulási alkalmazások teljesítményét növeli, miközben a memóriakezelést rugalmasabbá teszi.
Integrálta a Universal Sparse Tensort (UST) a nvmath-python v0.9.0-ba a NVIDIA, ezzel jelentősen felgyorsítva a sparse tudományos és mélytanulási alkalmazásokat — írja a NVIDIA Developer blogja.
Az UST lehetővé teszi a fejlesztők számára, hogy a tenzor ritkaságát leválasszák a memóriabeli elrendezésről, ami nagyobb rugalmasságot és teljesítményt biztosít. A ritka mátrixok, amelyekben sok a nulla érték, csak a nem nulla elemeket tárolják, ezzel memóriát takarítanak meg.
Az új integráció zéró költségű interoperabilitást kínál, ami adatmozgatás nélküli konverziót tesz lehetővé a PyTorch, SciPy és CuPy között. A fejlesztők egy egyszerű, tartományspecifikus nyelv (DSL) segítségével definiálhatnak egyedi ritkasági sémákat, például a CSC formátumot.
Teljesítmény és integráció
Az UST teljesítményelőnyei könnyen beépíthetők a meglévő PyTorch modellekbe. A NVIDIA szerint az eszköz átlátható gyorsítótárazást is biztosít, elkerülve a JIT/LTO újrafordítást és az újratervezést, így az ismétlődő műveletek során amortizálódik a kezdeti többletköltség.
Ritka mélytanulási feladatok
A NVIDIA már 2014-ben fejlesztette ki a cuDNN-t, egy optimalizált primitívekből álló könyvtárat, amelyet a párhuzamos CUDA nyelven írtak. A nvmath-python v0.9.0 és a benne található UST tovább egyszerűsíti a ritka mélytanulási feladatokat, a PyTorch 1.12-es verzióval való kompatibilitást biztosítva 2023. március elsejétől.