Kisebb AI modellek segítenek a fejlődő országoknak az egészségügyben

A kis AI modellek egyre nagyobb teret nyernek a világban, különösen azokon a területeken, ahol megbízhatatlan a hálózat és nincs adatközponti infrastruktúra. Ezek a kisebb, speciális modellek életmentő szolgáltatásokat képesek nyújtani, ellentétben a nagy nyelvi modellekkel (LLM), amelyek hatalmas számítási kapacitást, energiát és szakértelmet igényelnek.

Adebayo Alonge, a dél-afrikai RxScanner startup alapítója személyesen tapasztalta meg a kis AI fontosságát. Egy 2019-es, Fokvárosban tartott bemutatón az eredeti, az Egyesült Államokban futó AI modellje 5 percet várt az eredményre a gyenge sávszélesség miatt. Azóta a csapat egy két óra alatt elkészült, telefonon futó, offline verziót fejlesztett ki, amely másodpercek alatt azonosítja a gyógyszereket, így a hamisítványok kiszűrését is lehetővé teszi olyan helyeken is, ahol nincs internetkapcsolat vagy megbízható áramellátás.

Kapcsolódó: SandboxAQ gyógyszerkutatás

Kis AI az egészségügyben és azon túl

A Világbank novemberi jelentése szerint a legszegényebb országokban az internetezők mindössze 0,7%-a használta a ChatGPT-t, szemben a fejlett országok 25%-ával. Ajay Banga, a Világbank elnöke szerint a legtöbb AI-diszkusszió a nagy LLM-ekről szól, amelyekhez szükséges erőforrások kevés fejlődő országban állnak rendelkezésre. Ezzel szemben a kis AI hasznos és életmentő szolgáltatásokat kínálhat ezeken a területeken.

Kapcsolódó: Google Cloud tudományos AI

Például Indiában a Vellore Institute of Technology kutatói drónokat fejlesztettek ki, amelyek képesek fotók alapján azonosítani a betegségre utaló foltokat a kesudió növényeken. A feldolgozás teljes egészében a drónon történik, így nincs szükség számítógépre vagy szerverkapcsolatra. Hasonló kis AI-alkalmazások azonosítanak hangyainváziót uruguayi szőlőkben, maláriaszúnyogokat, vagy futtatnak EKG-t Brazíliában, ahol nincs hozzáférés fejlettebb berendezésekhez. Marcelo José Rovai, a Federal University of Itajubá professzora szerint ez a terület a legfontosabb az AI-ban, és „nagyon gyorsan növekszik”.

Kapcsolódó: Sanofi AI-munkafolyamatok

A kis modellek technológiája és terjedése

A kis AI modellek jellemzően néhány milliárd paraméterrel rendelkeznek, ami lehetővé teszi, hogy közvetlenül telefonokon vagy Raspberry Pi-n fussanak, mindössze néhány watt energiát fogyasztva. Ezeket a modelleket gyakran nagy modellek „metszésével” (pruning) hozzák létre, eltávolítva a felesleges paramétereket, vagy „desztillációval”, ahol egy kisebb modell tanul egy nagyobbtól. Más esetekben, mint például adatklasszifikáció vagy mintázatfelismerés, a modelleket eleve kis eszközökre optimalizálva képzik.

Kapcsolódó: 230 milliós adatkinyerő modell

A kis AI rendszerek futtatását két fő tényező könnyíti: a hardver fejlődése és az alacsonyabb fogyasztás. A telefonok egyre több neurális feldolgozó egységgel (NPU) rendelkeznek, amelyek speciálisan az AI feladatokra optimalizáltak. A Counterpoint kutatócég szerint 2025-ben a világon szállított okostelefonok több mint harmada képes lesz generatív AI futtatására, ami az év végére 45%-ra emelkedik.

Kapcsolódó: Kínai AI-modelllopás elleni együttműködés

A kis AI nem csupán a fejlődő országok számára fontos, hanem hosszú távon fenntarthatóbb megoldást kínálhat a nagyméretű, költséges modellekkel szemben. Adebayo Alonge szerint a jövő nem egyetlen központi modellből fog állni, hanem „millió kis, precíz modellből, amelyek az edge-en futnak, mindegyik egy specifikus problémát old meg”. A világban szállított okostelefonok több mint fele jövő év végére lesz alkalmas generatív AI futtatására.