Helyi AI-modellekkel építene megbízhatóbb alkalmazásokat a Brutalist Report
A felhőalapú AI-szolgáltatások helyett a helyben futó modellek jelenthetik a megoldást a szoftverek sérülékenységére és az adatvédelmi aggályokra.
A modern szoftverfejlesztés egyik trendje, hogy a fejlesztők API-hívásokkal integrálnak OpenAI vagy Anthropic modelleket alkalmazásaikba — írja a Hacker News. Ez a megközelítés azonban törékeny, adatvédelmi szempontból aggályos és alapvetően hibás szoftvereket eredményez, amelyek a szerverhibák vagy a fizetési problémák esetén azonnal leállnak.
A fejlesztő szerint vissza kell térni ahhoz a gyakorlathoz, hogy a munka nagy részét a helyi eszközök végezzék. A mai okostelefonokban található Neural Engine-ek sokkal gyorsabbak, mint egy évtizeddel ezelőtt, mégis gyakran kihasználatlanul állnak, miközben az alkalmazások egy távoli szerver válaszára várnak.
A helyi AI felé vezető út: a szoftverfejlesztés új korszaka
A Brutalist Report nevű hírgyűjtő szolgáltatás iOS kliensében például a cikkek összefoglalása helyben, az Apple saját modell API-jainak segítségével történik. Ez azt jelenti, hogy nincs szerveres kitérő, nincsenek prompt- vagy felhasználói naplók, és nincs szükség harmadik fél fiókjára. A felhasználói tartalom soha nem hagyja el az eszközt, így nincs szükség hosszú adatvédelmi szabályzatokra sem.
Helyi AI a gyakorlatban: a Brutalist Report tapasztalatai
Az Apple jelentős befektetéseket eszközölt az elmúlt évben, hogy a fejlesztők könnyedén használhassák a beépített helyi AI-modelleket. A rendszer lehetővé teszi, hogy a fejlesztők Swift struktúrákban definiálják a kívánt kimenetet, így a modell strukturált adatokat generálhat, nem csupán formázatlan szöveget.
Bár a helyi modellek nem feltétlenül olyan „okosak”, mint a felhőalapú társaik, a legtöbb alkalmazásfunkcióhoz elegendőek. Az összefoglalás, osztályozás, kinyerés vagy átírás feladataihoz kiválóan alkalmasak, különösen, ha a modell feladata a felhasználó tulajdonában lévő adatok átalakítása. A felhőmodelleket csak akkor érdemes használni, ha valóban elengedhetetlenek, a felhasználói adatokat pedig ott kell tartani, ahová valók: az eszközön. A Brutalist Report a 2024. márciusi frissítésében tervezi beépíteni az Apple Core ML modelljét.