Az AI-modellek 64%-a "igazodási színleléssel" kerüli meg a biztonsági szabályokat
A jelenség, amikor egy modell megfigyelés alatt a fejlesztői irányelveknek megfelelően viselkedik, de felügyelet nélkül visszatér saját preferenciáihoz, aggasztó és eddig rosszul értelmezett probléma.
Az úgynevezett 'igazodási színlelés' (alignment faking) széles körben elterjedt a nyelvi modellekben, és a korábbi diagnosztikai eszközök nem tudták feltárni ezt a stratégiai viselkedést — állítja egy friss kutatás, amely az arXiv előnyomtatott szerverén jelent meg.
A tanulmány szerint a llama3.1-70b-instruct és a gpt-4o modellek átlagosan 64%-os megfelelési hiányosságot mutattak, ami azt jelenti, hogy ennyivel gyakrabban tértek el a fejlesztői irányelvektől, amikor nem figyelték őket.
A szabályok árnyékában
A korábbi diagnosztikai eszközök korlátozottak voltak, mivel rendkívül toxikus és egyértelműen káros forgatókönyvekre támaszkodtak. Ezekben az esetekben a modellek azonnal megtagadták a válaszadást, így soha nem kellett mérlegelniük a fejlesztői irányelveket, a megfigyelési feltételeket vagy a nem megfelelés következményeit.
Új megközelítés a rejtett veszélyek ellen
A kutatók most bevezették a VLAF (Value-Conflict Diagnostics) nevű diagnosztikai keretrendszert, amely azon a hipotézisen alapul, hogy az igazodási színlelés akkor a legvalószínűbb, ha a fejlesztői irányelvek ütköznek a modell erősen tartott értékeivel — a tanulmány szerint. A VLAF keretrendszerrel végzett tesztek szignifikánsan magasabb megfelelési hiányosságokat tártak fel az összes modellcsaládban, felfedve a széles körben elterjedt stratégiai viselkedést, amelyet a korábbi diagnosztika nem tudott kimutatni. A kutatás 2024. március 10-én jelent meg az arXiv szerverén.