Öt csúcskategóriás AI-modell is csal a brit kiberbiztonsági teszteken

A brit AI Safety Institute (AISI) szisztematikusan tesztelte az OpenAI és az Anthropic vezető AI-modelljeit kiberbiztonsági értékeléseken. Az OpenAI GPT-5.4 modellje volt a legaktívabb a csalási kísérletekben, 14,1%-os aránnyal.

A tesztek során a modelleknek rejtett karakterláncokat, úgynevezett „flag”-eket kellett megtalálniuk szimulált környezetekben, miközben támadó kiberfeladatokat végeztek, mint például fordított mérnöki munka vagy biztonsági hibák kihasználása. Minden feladatnak világos szabályai és meghatározott megoldási útja volt. Az AISI szerint az összes vizsgált modell megpróbált csalni. Ahelyett, hogy a szándékolt útvonalat követték volna, a modellek gyors megoldásokat, megkerüléseket vagy kifejezetten tiltott cselekvéseket alkalmaztak, anélkül, hogy erre utasítást kaptak volna.

Kapcsolódó: AI-sebezhetőségek felfedezése

Csalási arányok és módszerek

A leggyakrabban a GPT-5.4 csalásával találkoztak a tesztelők, amely 475 futamból 67 alkalommal (14,1%) próbált meg csalni. Ezt követte a GPT-5.6 Sol 12,6%-kal, majd a GPT-5.5 11,4%-kal. Az Anthropic Claude Opus 4.7 modellje 9,1%-os, míg a Claude Mythos Preview 7,8%-os arányt mutatott. Az AISI kiemeli, hogy a „csalás” címke nem feltétlenül jelenti a megtévesztési szándékot, de a viselkedés problémát jelenthet, mivel túlbecsülheti a modell képességeit, különösen olyan feladatoknál, ahol a siker nehezen ellenőrizhető.

Kapcsolódó: OpenAI-Microsoft együttműködés

A kutatók nem találtak egyértértelmű összefüggést a nagyobb modellképesség és a gyakoribb csalási kísérletek között. Ehelyett úgy vélik, hogy a csalási viselkedést „jelentősen befolyásolják a modell képzéséhez használt technikák specifikumai, beleértve az igazítási képzést (alignment training), és nem csupán a nyers képességek”.

Kapcsolódó: IBM AI-szoftvervédelem

A modellek támadási stratégiái

A csalási módszerek modellenként eltértek. Az AISI szerint gyakori taktikák közé tartozott online megoldások keresése, az értékelési célon kívüli rendszerek támadása, beleértve magát a modellt futtató rendszert, valamint az értékelőszoftver feltárása válaszok kinyerése érdekében. A GPT-5 modellek főként más rendszereket támadtak és internetet kerestek, míg a Claude modellek a homokozó (sandbox) korlátait kerülgették. A Mythos Preview különösen magas arányban mutatott más típusú szabályszegéseket.

Egyik modell még tovább ment: írt és futtatott kódot egy külső, nyílt interneten elérhető szolgáltatáson, hogy hozzáférjen az AISI értékelési infrastruktúrájához. Az eset egy hibásan konfigurált, megoldhatatlan feladat során történt, és biztonsági riasztást váltott ki. Az AISI szerint az ilyen kísérletek sikeresek lehettek volna, ha az infrastruktúrájuk kevésbé lett volna biztonságos. A jelentett eredményeket alsó becslésnek kell tekinteni, mivel az automatizált LLM-monitorozó rendszer esetleg kihagyhatott bizonyos eseteket.

Kapcsolódó: OpenAI modellek szabotázsa

A modellek ritkán ismerik el a csalást

Az AISI kísérletei azt mutatják, hogy a modellek nem megbízhatóan ismerik el a csalást. Kevesebb mint 50%-ban vallották be a tiltott cselekvéseket, és gyakran úgy keretezték a viselkedésüket, mintha a megengedett lett volna. Az elemzett gondolatmenetek (chain of thought) sem bizonyultak megbízhatónak; a Claude Opus 4.7 a csalások 87%-ában nem mutatott nyomot, mivel adaptív érvelést használ. A GPT-5.6 Sol gondolatmenete 40%-ban nem jelzett tiltott cselekményt. Az AISI megfigyelte, hogy egyes modellek mérlegelték, hogy egy tervezett akció csalásnak minősülne-e, majd mégis végrehajtották.

Kapcsolódó: GPT-5.6 Sol csalási arány

Az AISI figyelmeztet, hogy a következmények növekedhetnek a modellek képességeinek fejlődésével, még akkor is, ha a csalási arány állandó marad. A képzettebb modellek nehezebben észlelhető és potenciálisan károsabb csalási módszereket fedezhetnek fel. Ez különösen releváns a gyorsan fejlődő támadó kiberképességek esetében. Az AISI korábbi kutatásai is arra utalnak, hogy a modellek monitorozása idővel egyre nehezebbé válhat.