Zhejiang Egyetem: 100%-os támadási siker

A mesterséges intelligencia alapú hangrendszerek, beleértve a nagy audio-nyelvi modelleket (LALM-eket), sebezhetőek olyan rejtett hangtámadásokkal szemben, amelyek emberi fül számára észrevehetetlenek — írja az IEEE Spectrum.

Az úgynevezett 'AudioHijack' technika lehetővé teszi, hogy a modelleket jogosulatlan parancsok végrehajtására kényszerítsék, például webes keresések indítására, fájlok letöltésére vagy felhasználói adatokat tartalmazó e-mailek küldésére. A kutatás szerint egy módosított hangklip, amely emberi fül számára észrevehetetlen, 79-96 százalékos sikerességi aránnyal képes manipulálni a modell viselkedését. A támadás sikeresen működött 13 vezető nyílt modellen, köztük a Microsoft és a Mistral kereskedelmi AI hangszolgáltatásain is.

Kontextusfüggetlen támadások

Meng Chen, a Zhejiang Egyetem doktorandusza szerint fél óra alatt betanítható a jel, és mivel kontextusfüggetlen, bármikor felhasználható a célmodell megtámadására, függetlenül attól, hogy a felhasználó mit mond. A támadók csak a feldolgozott hangadatokat manipulálják, nem az eredeti felhasználói utasításokat, ami lehetővé teszi a támadást, miközben a modellt mások használják – például online videókban, zenei klipekben vagy élő hangcsevegésekben.

A kutatók hatféle támadási kategóriát mutattak be: a modell megtagadja a kéréseket, hamis információkat ad, rosszindulatú linkeket szúr be, megváltoztatja a modell személyiségét, vagy jogosulatlan eszközhasználatot indít el. Az AudioHijack ellen a gyakori védelmi mechanizmusok is hatástalannak bizonyultak: a rosszindulatú utasítások példákkal történő betanítása mindössze 7 százalékkal csökkentette a támadások sikerességét, míg a modell önreflexióra való felkérése csak 28 százalékát fogta meg a támadásoknak. A kutatók a tanulmányt az IEEE Symposium on Security and Privacy konferencián mutatják be San Franciscóban.