Egy kattintással telepíthető Hugging Face modellek a Microsoft Foundry-n

A Microsoft Foundry platformja új lehetőséget kínál a fejlesztőknek: a Hugging Face ökoszisztémájából származó, nyílt súlyokkal rendelkező modellek mostantól egy kattintással telepíthetők a Foundry Managed Compute felületére. A kínálatot hetente frissítik, a súlyok előre betöltődnek az Azure-ba, a futtatókörnyezeteket pedig a Microsoft építi és vizsgálja át.

Modellválaszték és ügynökök

A Foundry platform az ügynök-alapú AI-alkalmazások építésére és működtetésére szolgál. Széles modellválasztékot kínál, beleértve a Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek és Hugging Face modelljeit, melyek egyetlen végpontról és egyetlen SDK-készleten keresztül érhetők el. Az ügynökök memóriával, tudásalapú groundinggal és csatlakoztatható eszközökkel dolgoznak, miközben a platform végponttól végpontig tartó nyomkövetést, valós idejű monitorozást és folyamatos értékeléseket biztosít.

Kapcsolódó: OCR fejlődése

A Foundry Managed Compute egy GPU-alapú platform-szolgáltatás nyílt forráskódú és egyedi modellek számára. A felhasználók a munkaterhelésükhöz illeszkedő modellpéldányokat telepíthetnek, a Microsoft pedig gondoskodik a konténerfrissítésekről, futtatókörnyezet-frissítésekről és biztonsági javításokról. A pay-per-token és a provisioned throughput árazási lehetőségek mellett a Managed Compute globális vagy adatzóna-specifikus telepítéseket is támogat.

Kapcsolódó: Claude elérhetősége

A Hugging Face és a nyílt modellek szerepe

A Hugging Face az open AI nyilvános terepe, ahol 15 millió fejlesztő, 400 000 szervezet és több mint 3 millió közzétett nyílt modell található. A nyílt modellek teljesítményben felzárkóztak a zárt, szabadalmaztatott modellekhez, és mélyreható testreszabást, valamint saját hosztolási lehetőséget kínálnak. A Hugging Face modellek a Foundry-n keresztül vállalati szintű működtetési réteget kapnak, beleértve a biztonsági szűrést, a futtatókörnyezet-kiválasztást és a CVE-javításokat.

Kapcsolódó: TRL 1.0 kiadása

A Hugging Face Collection a legnépszerűbb nyílt súlyú modellek kurált részhalmazát hozza el a Foundry Model Catalogba. Minden modell biztonsági szempontból átvizsgálásra kerül, és a SafeTensors formátumban érkezik, elkerülve a nem megbízható kódfuttatást. A modellekhez a megfelelő futtatókörnyezetet (vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp) a Foundry választja ki. A Hugging Face és a Microsoft együttműködése révén a modellek gyártásra kész állapotban kerülnek a Microsoft Foundry-ra, a közösségi jelzések, partneri kérések és ügyféligények alapján kiválasztva.

Kapcsolódó: IBM Granite modell