A Hugging Face bemutatja a Storage Buckets funkciót a Hubon
A Hugging Face új Storage Buckets funkcionalitásának köszönhetően a felhasználók már 2 perc alatt létrehozhatnak egy új bucketet az hf CLI segítségével.
A Hugging Face a Hubon bevezetett új Storage Buckets funkciót, amely lehetővé teszi a felhasználók számára, hogy 2 perc alatt létrehozzanak egy bucketet az hf CLI segítségével. A bucketek nem verziózott tárolók, hanem S3‑hasonló, mutálható objektumtárolók, melyeket a Hubon böngészhetnek, Pythonból vagy az hf CLI-ből kezelhetnek. A bucketek a Hugging Face Xet backendjén alapulnak, amely a tartalmat blokkokra bontva deduplikálja, így a hasonló fájlok csak egyszer kerülnek tárolásra.
Miért van erre szükség? A termelési gépi tanulás során rengeteg köztes fájl, például ellenőrzőpontok, optimalizáló állapotok és naplók generálódik, amelyeket gyakran felülírnak vagy újraírnak. A Git alapú rendszerek ebben a környezetben lassúnak és kevésbé hatékonynak bizonyulnak. A bucketek a gyors írást, a felülírást, a mappák szinkronizálását és a felesleges fájlok eltávolítását egyszerűsítik.
Az Xet technológia kulcsfontosságú: a fájlokat blokkokra bontja, majd deduplikálja a megosztott tartalmat. Ez jelentősen csökkenti a sávszélességigényet és a tárolási költségeket, különösen nagy modellcheckpointok esetén. Az Enterprise ügyfelek számára a számlázás deduplikált tároláson alapul, így a megosztott blokkok közvetlenül csökkentik a fizetendő méretet.
A bucketek globálisan elérhetők a Hubon, de a "pre-warming" funkcióval a felhasználók a számítási környezethez közelebb hozhatják a gyakran használt adatokat. Jelenleg az AWS és a GCP partnerekkel működik együtt, és a jövőben további felhőszolgáltatók is bekerülnek.
A használat egyszerű: hf buckets create my-training-bucket --private hozza létre a bucketet, majd hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints szinkronizálja a helyi mappát. A --dry-run opció megmutatja a tervet, a --plan pedig menthető. Pythonból a huggingface_hub könyvtár segítségével is létrehozhatók és szinkronizálhatók bucketek, míg a JavaScript @huggingface/hub csomag Node.js alkalmazásokban is lehetővé teszi a kezelésüket.
A következő lépés a bucketek széles körű integrálása a Hugging Face Hubba, és a felhőszolgáltatók bővítése. A felhasználók most már gyorsan, hatékonyan és költséghatékonyan kezelhetik a gépi tanulás köztes fájljait, miközben a Hubon keresztül könnyen megoszthatják a végleges modelleket és adatokat.