NVIDIA Model Optimizer: 60 millió FLOP-os modell Optimalizálása FastNAS Pruninggal
A NVIDIA Model Optimizerral és FastNAS Pruninggal optimalizált modell a CIFAR-10 adathalmazon 20-120 építési körrel és 12-120 finomhangolási körrel készül.
NVIDIA Model Optimizerrel egy teljesen végponttól végpontig terjedő folyamat-t építettek a CIFAR-10 adathalmazon. A folyamat 60 millió FLOP‑ra szűkítve, 20–120 tréningkörrel és 12–120 finomhangolási körrel futtatható a Google Colab GPU‑jain. A ResNet architektúrát alapértelmezettként használva 0,93‑ra emelt pontosságot értek el a baseline‑n, majd FastNAS pruning‑mal 30 %-os FLOP‑csökkenést hajtottak végre.
A FastNAS egy olyan pruning‑eljárás, amely a FLOP‑korlátok alapján szűri ki a felesleges rétegeket. Az NVIDIA Model Optimizer képes a finomhangolás után visszaállítani a pontosságot, így a csökkentett modell 0,91‑re emelkedett a CIFAR-10‑en. A folyamat lépései között szerepel a környezet beállítása, a adathalmaz előkészítése, a ResNet definiálása, a FastNAS alkalmazása és a finomhangolás.
A folyamat 20 epoch‑os alapértelmezett tréningtel indul, de a teljes kísérlet 120 epoch‑ig terjedhet. A finomhangolás is 12–120 epoch között mozog, a FLOP‑korlát 60 millió, ami a modellek méretének jelentős csökkentését eredményezi. A teljes folyamatot egyetlen Python‑fájlban, a "nvidia_model_optimizer_fastnas_pipeline_marktechpost.py" nevű notebookban találhatók.
Az NVIDIA Model Optimizer nemcsak a pruning‑t, hanem a finomhangolást is támogatja, így a fejlesztők egyetlen eszközzel tudnak modelleket optimalizálni és előkészíteni a telepítés‑re. A folyamat a Google Colab környezetében fut, ami azt jelenti, hogy a GPU erőforrásokhoz könnyen hozzáférhetnek a kutatók.
Mi a következő lépés? A dokumentációban szereplő kódszámok alapján a következő iterációban a 60 millió FLOP‑os cél mellett még magasabb pontosság elérése a cél, vagy akár a FLOP‑korlát csökkentése 30 millióra.