A Fireworks AI csatlakozik a Microsoft Foundryhoz: gyors és biztonságos open model inference az Azure-ban
A Fireworks AI motorja már most is több mint 13 billió tokent dolgoz fel naponta, és másodpercenként több mint 180 ezer kérést kezel.
A Microsoft bejelentette a Fireworks AI nyilvános előzetesét a Foundry platformon, amely az Azure-ban nyújt magas teljesítményű, alacsony késleltetésű open model inference-t. A Fireworks AI motorja naponta több mint 13 trillió tokent dolgoz fel, és 180 ezer kérést kezel másodpercenként, miközben 1 000 token per másodpercet képes generálni a nagy modelleknél.
Az open model-ek iránti igény növekszik a vállalatok körében, mert nagyobb kontrollt biztosít a teljesítmény, költség, testreszabás, biztonság és megfelelés terén. A Foundry egyetlen, megbízható vezérlőpultot kínál, ahol a fejlesztők futtathatják, értékelhetik és operálhatják ezeket a modelleket, anélkül, hogy saját, szegmensekbe szórt infrastruktúrát kellene felépíteni.
Fireworks AI a platformon elérhető modellek közé tartozik a DeepSeek V3.2, a gpt-oss-120b, a Kimi K2.5 és az új MiniMax M2.5, amely serverless támogatással érhető el. A fejlesztők serverless vagy PTU (Provisioned Throughput Unit) modellek közül választhatnak, így a skálázhatóságot és a költségkontrollt egyaránt kezelhetik.
A Foundry egy átfogó környezetet biztosít az AI életciklusának minden szakaszához: értékelés, agent fejlesztés, telepítés, irányítás és megfigyelés. A Fireworks AI tehát nem csak a legjobb inferencinget kínálja, hanem egy olyan platformot, amely lehetővé teszi a vállalatok számára, hogy az open model-eket biztonságosan és hatékonyan üzemeltessék.
Mi következik? A fejlesztők most már a Microsoft Foundry modellkatalógusában keresve közvetlenül telepíthetik a Fireworks AI open modeljeit, akár saját finomhangolt súlyokat is feltölthetnek, és élhetnek a gyors, alacsony késleltetésű inferencing előnyeivel.