Shopify automatikus AI-modellváltással kerüli el a szolgáltatófüggőséget

A Shopify bemutatta új LLM-proxyját, amely automatikusan képes átterelni a feladatokat más AI-szolgáltatók modelljeire, ha egy adott szolgáltató leáll, megváltozik, vagy eltűnik. Ez a megoldás lehetővé teszi a fejlesztők számára, hogy ne legyenek kiszolgáltatva egyetlen AI-partnernek sem. A Claude Fable 5 leállása például nem okozott pánikot a Shopify mérnökei körében, mert a proxy automatikusan Claude Opusra vagy GPT 5.5-re váltott, megszakítás nélkül. Ez a rugalmasság kulcsfontosságú a folyamatos működéshez.

Farhan Thawar, a Shopify mérnöki vezetője szerint a proxy lehetővé teszi a terhelés szétosztását a különböző szolgáltatók között. A Shopify nagy tételben vásárol AI-tokeneket, és minden belső kérést ezen a proxyn keresztül irányítanak. Ez a megközelítés hozzáférést biztosít a részletes riportokhoz és a zökkenőmentes átkapcsoláshoz, ha egy szolgáltató elérhetőségi problémákkal küzd. Thawar hangsúlyozza, hogy a vállalkozásoknak is érdemes hasonló tartalékterveket kidolgozniuk, hogy elkerüljék a túlzott szolgáltatófüggőséget.

Kapcsolódó: AI-ügynökök újjáépítése

Modell-desztilláció a sebességért és a költségcsökkentésért

A desztilláció egy másik fontos stratégia, ahol egy kisebb, „tanítvány” modell tanul egy nagyobb „tanár” modelltől, és egy szűkebb feladatra specializálódik. Ezek a kis nyelvi modellek (SLM) bizonyos esetekben előnyösebbek lehetnek a nagy, általános célú modelleknél. A Shopify zászlóshajó AI-asszisztense, a Sidekick, számos speciális alfeladatot végez a kereskedők számára, csökkentve a napi munkát. A kisebb, desztillált modellek használata gyorsabb és olcsóbb lehet a nagyobb, általános modellekhez képest; egyes esetekben akár 2-30-szorosan is. A sebesség és a költség mellett a pontosság is kiemelten fontos.

Kapcsolódó: Microsoft 100 AI-ügynök

A Shopify mérnökei a desztillációs folyamat során megadják a tanár modellt, a betanítási adatokat, az értékeléseket és egy célmodellt (például Opus 4.8-ról Qwen 3.5-re). A folyamat körülbelül egy napig fut, majd egy értékelést ad a finomhangolt modell sebességéről, költségéről és pontosságáról. Ha az eredmények megfelelőek, a mérnökök jóváhagyási folyamat nélkül bevethetik az új modellt. A Shopify belső platformja, a Tangle, lehetővé teszi a folyamat vizualizálását.

Kapcsolódó: AI és a régi web

Jövőbeli tervek és a használat nyomon követése

Thawar álma, hogy a desztillációs folyamat a jövőben ne igényeljen előre meghatározott célmodellt. A felhasználók megadhatnák a tanár modellt, az adatokat és az értékeléseket, és a rendszer maga határozná meg a legoptimálisabb desztillációs célt, akár egy telefonon is futtatható méretű modellt eredményezve. A Shopify emellett egy használati irányítópultot is bevezetett, amely figyeli a tokenfelhasználást, a modellhasználatot és riasztást ad, ha egy munkamenet túlzottan hosszú vagy költséges (például 10 óra felett jár). Ezzel a funkcióval a felhasználók visszajelzést kapnak a modellhasználatukról, és szükség esetén leállíthatják a háttérben futó folyamatokat.

Kapcsolódó: Managerbot probléma-megelőzés

A Shopify célja, hogy a „AI-reflexivitásról” a „AI-hasznosításra” helyezze a hangsúlyt, arra ösztönözve a felhasználókat, hogy mélyen gondolják át, hol tudják leginkább kamatoztatni az AI-t munkafolyamataikban. A cég továbbra is az infrastruktúra kiépítésére összpontosít, mielőtt új funkciókat vezetne be. A belső AI-ügynök, a River, információs alapot teremt a cégen belül, míg az OpenClaw ügynök a naptárból következtet a felhasználó utazásaira.

Kapcsolódó: AI a pénzügyekben