Fireworks AI elérhetővé vált a Microsoft Foundry-n — új modellekkel bővül a kínálat

A Microsoft Foundry egységes platformot kínál az AI-alkalmazások teljes életciklusának kezelésére, a modell kiválasztásától az üzemeltetésen át a folyamatos fejlesztésig. A platform célja, hogy segítse a fejlesztőket a megfelelő modellek kiválasztásában, validálásában, optimalizálásában és működtetésében, különösen a komplex, éles környezetben futó rendszerek esetében.

A legújabb fejlesztések közé tartozik a Fireworks AI általános elérhetősége a Microsoft Foundry-n. Ez lehetővé teszi a fejlesztők számára, hogy egyetlen Azure végponton keresztül érjék el a gyártó-kész nyílt modellek inferenciáját, vállalati szolgáltatási szintekkel (SLA) és azonnali beállítással. Emellett a Foundry új modellcsaládokkal és képességekkel bővül több modalitásban, beleértve a Microsoft saját AI modelljeit, partneri és nyílt forráskódú modelleket, valamint egyedi, utólag betanított változatokat.

Kapcsolódó: Azure fejlesztések

Modellválasztás és optimalizálás

A modell kiválasztása a feladat elvégzésének képességétől függ, nem pedig a ranglistákon elfoglalt helytől. A Foundry segít definiálni a feladat specifikációját: mit kell a modellnek tennie, mi számít jó eredménynek, milyen korlátok között kell működnie, és melyek a megengedhetetlen hibamódok. A platform támogatja a különböző típusú munkaterheltekhez leginkább illeszkedő modellek kiválasztását, figyelembe véve a képességeket, biztonságot, késleltetést és költséget. A Model Router funkció automatikusan a legmegfelelőbb modellhez irányítja a kéréseket a munkafolyamat jellemzői, a költségcélok és a késleltetési követelmények alapján.

Kapcsolódó: egészségügyi megtakarítások

Validálás és minőségbiztosítás

A nyilvános teljesítménytesztek önmagukban nem elegendőek a gyártásban való bizalomhoz. A Foundry lehetővé teszi a fejlesztők számára, hogy saját értékelési adatkészleteket használjanak, összehasonlítsák a modelleket, és ellenőrizzék az ügynökök és több lépésből álló munkafolyamatok teljesítményét. Beépített minőség- és biztonsági értékelők mérik a relevanciát, a megalapozottságot, a koherenciát, a biztonságot és a szabályok betartását. Az értékelést folyamatosan futtatni kell, ahogy új modellverziók vagy finomhangolt változatok válnak elérhetővé.

Kapcsolódó: európai adatközpontok

Költség- és teljesítményoptimalizálás

A költségkezelés kulcsfontosságú az AI-alkalmazások gyártásában. A Foundry intelligens útválasztást, kötegelést, gyorsítótárazást, kiépített átviteli sebességet és kvótakezelést kínál a minőség, a költség és a késleltetés optimalizálására. A modelloptimalizálási technikák, mint a tömörítés vagy a finomhangolás, szintén elérhetők. A Fireworks AI a Foundry-n keresztül mostantól általánosan elérhető, új lehetőségeket kínálva a fejlesztőknek.

Kapcsolódó: Mistral AI Forge