5x-ös védelmet ad a jailbreak ellen az ArXiv új Sparse Autoencoder kutatása
A Sparse Autoencoderek (SAE) integrálása a transzformer modellekbe jelentősen, akár ötszörösére is javíthatja a LLM-ek biztonságát a rosszindulatú optimalizációs támadásokkal szemben.
Jelentősen csökkentheti a jailbreak-támadások sikerességét a nagy nyelvi modelleknél (LLM) a Sparse Autoencoderek (SAE) használata — derül ki az ArXiv legújabb kutatásából.
A tanulmány szerint az előre betanított SAE-k futásidejű integrálása a transzformer modellekbe, a modell súlyainak vagy a gradiens blokkolásának módosítása nélkül, akár ötszörösére is csökkentheti a támadások sikerességi arányát. A kutatók négy modellcsaládon (Gemma, LLaMA, Mistral, Qwen) és két erős white-box támadáson (GCG, BEAST), valamint három black-box teljesítményteszten tesztelték a módszert. A SAE-vel kiegészített modellek nemcsak a jailbreak-támadásokkal szemben nyújtottak jobb védelmet, hanem a modellek közötti támadásátvitelt is csökkentették.
A biztonság fonalai
A parametrikus ablációs vizsgálatok két kulcsfontosságú összefüggést tártak fel. Egyrészt, monoton dózis-válasz kapcsolatot találtak a L0 ritkaság és a támadási sikerességi arány között. Másrészt, rétegtől függő védelmi-hasznossági kompromisszumot azonosítottak, ahol a köztes rétegek egyensúlyt teremtenek a robusztusság és a tiszta teljesítmény között.
Védelmi rétegek
A LLM-ek továbbra is sebezhetőek az optimalizációs alapú jailbreak-támadásokkal szemben, amelyek kihasználják a belső gradiens struktúrát. Bár a Sparse Autoencodereket széles körben alkalmazzák az értelmezhetőség javítására, robusztussági vonatkozásaik eddig feltáratlanok maradtak. A mostani kutatás az ArXiv-n 2024. március 10-én jelent meg, és a Gemma, LLaMA, Mistral, Qwen modelleken végzett tesztek eredményeit mutatja be.