Making AI operational in constrained public sector environments
A Capgemini tanulmánya szerint a közszféra 79%-a aggódik az AI adatbiztonsága miatt.
A közszféra szervezetei egyedi korlátokkal szembesülnek az AI bevezetésekor, különösen a biztonság, az irányítás és az üzemeltetés terén. A Capgemini tanulmánya szerint a közszféra vezetőinek 79 százaléka aggódik az AI adatbiztonsága miatt — írja a MIT Technology Review.
A kormányzati szerveknek szigorúan korlátozniuk kell, milyen adatokat küldenek a hálózatra, ami jelentős határokat szab az adatkezelésnek — közölte Han Xiao, az Elastic AI alelnöke. Ez a tényező, valamint az adatok ellenőrizhetőségének és a minimális üzemzavarok biztosításának igénye, bonyolulttá teszi az AI telepítését a magánszektorhoz képest.
A nagy modellek korlátai
A magánszektorban megszokott folyamatos felhőkapcsolat, a centralizált infrastruktúra és a korlátozott adatmozgás elfogadása a legtöbb állami intézmény számára veszélyes vagy lehetetlen. A közszféra gyakran küzd korlátozott vagy megbízhatatlan internet-hozzáféréssel, és a GPU-k beszerzése, illetve kezelése is komoly akadályt jelent. Az Elastic felmérése szerint a közszféra vezetőinek 65 százaléka küzd az adatok folyamatos, valós idejű és méretarányos felhasználásával.
Ezek a megkötések teszik életképtelenné a nagy nyelvi modelleket (LLM-eket) a közszférában. Ezzel szemben a kis nyelvi modellek (SLM-ek) helyben tárolhatók, nagyobb biztonságot és ellenőrzést kínálva. A SLM-ek kevesebb paramétert használnak, így számítási igényük is alacsonyabb, miközben specifikus feladatokban ugyanolyan jól vagy jobban teljesíthetnek, mint a LLM-ek.
A SLM-ek lehetővé teszik az érzékeny információk hatékony és eredményes felhasználását, elkerülve a nagy modellek üzemeltetési komplexitását. Ahogy Han Xiao fogalmazott, a ChatGPT használata egyszerű, de saját LLM futtatása hálózati hozzáférés nélkül már sokkal nehezebb. A SLM-eket az adott osztály vagy ügynökség igényeire szabják, az adatokat biztonságosan, a modellen kívül tárolják, és csak lekérdezéskor férnek hozzájuk. A Gartner előrejelzése szerint 2027-re a kis, specializált AI-modelleket háromszor gyakrabban fogják használni, mint a LLM-eket.