Mirage: Akár 15,4 ponttal is felülmúlja a felejtési teszteket az új audit keretrendszer
A rendszer négy diagnosztikai eszközzel — Linear Probe Recovery (LPR), Centered Kernel Alignment (CKA), Feature Separability Scoring és Layer-Wise Recovery Analysis — teszi próbára a modelleket.
Kihívást jelent a gépi felejtés hitelessége a vertikális föderált tanulás (VFL) területén, mivel a meglévő módszerek kizárólag kimeneti szintű metrikákkal igazolják a felejtést — írja az ArXiv CV-n megjelent tanulmány.
A kutatók szerint ezek az állítások megkérdőjelezhetők, ezért bevezették a Mirage nevű reprezentáció-szintű audit keretrendszert. A Mirage célja, hogy mélyebben vizsgálja, valóban elfelejtik-e a vizuális modellek a betanított adatokat.
A felejtési rés felfedezése
A Mirage hét adathalmazon és hét alapvető módszeren végzett kísérletei három kulcsfontosságú megállapításra jutottak. Az első, az úgynevezett „felejtési rés” (forgetting gap) azt mutatja, hogy a kimeneti szintű tanúsítványokon átmenő modellek jelentős osztálystruktúrát őriznek meg a reprezentációikban. A LPR diagnosztika például akár 15,4 ponttal is felülmúlja az újratanított alapvonalat.
A strukturális hasonlóság feltárása
A CKA vizsgálat szerint ezek a modellek strukturálisan közelebb maradnak az eredetihez, mint az újratanított referenciához, míg a szétválaszthatósági pontszámok tartós geometriai diszkriminációra utalnak. A Mirage keretrendszer a Linear Probe Recovery (LPR) diagnosztikai eszközzel 2024. március 10-én publikált eredményei alapján akár 15,4 ponttal is felülmúlta az újratanított alapvonalat.