Hamis Git-azonosság téveszti meg a Claude AI kódellenőrzőjét

Az Anthropic Claude mesterséges intelligenciája, amelyet kódellenőrzőként használnak, megtéveszthető a hamisított Git-azonosság metaadataival — írja a The Register.

A Manifold Security a héten publikált blogbejegyzésében mutatta be, hogyan fogadott el egy Claude-ra épülő AI-alapú kódellenőrző olyan változtatásokat, amelyek látszólag egy legitim karbantartótól származtak. A csapat egy hamis szerzői név és e-mail cím beállításával a Gitben elérte, hogy egy commit megbízható forrásból származónak tűnjön, majd az automatizált felülvizsgálati folyamaton keresztül a modell jóváhagyta azt.

Ez nem a Git sebezhetősége, hiszen a commit metaadatokat mindig is viszonylag könnyű volt hamisítani, hacsak nem alkalmaztak további ellenőrzéseket, például aláírást. A probléma akkor merül fel, amikor ezeket a metaadatokat bizalmi jelként kezelik. Ebben az esetben a modell látszólag súlyt adott a szerző feltételezett azonosságának, ahelyett, hogy önállóan értékelte volna a változtatás érvényességét.

A bizalmi háló szakadása

A Manifold tesztjében a munkafolyamat úgy volt beállítva, hogy automatikusan jóváhagyja a „felismert iparági legendák” pull requestjeit, így a bizalmi szabály nyilvánvaló volt. A valós világban ez általában kevésbé explicit – szervezeti tagság, korábbi hozzájárulások vagy karbantartói lista ellenőrzése –, de a probléma alapja ugyanaz: egyik sem bizonyítja, ki végezte el valójában a változtatást.

Kódolt bizalom

A Manifold szerint az ilyen konfigurációk mögött meghúzódó motiváció érthető, hiszen a népszerű nyílt forráskódú projektek karbantartói el vannak árasztva pull requestekkel. Az ismert, megbízható személyektől származó hozzájárulások felülvizsgálatának automatizálása csökkenti a szűk keresztmetszetet, de feltételezést teremt arról, hogy a szerzőség vakon megbízható. A Manifold arra figyelmeztet, hogy az Anthropic Project Glasswing CVE száma egyelőre még nem ismert, de a támadások elleni védelmi intézkedések nem támaszkodhatnak kizárólag a modellre, hanem további ellenőrzésekre van szükség a valódi szerzőség igazolására, 2024. április 15-ig.