VibeVoice egy órás podcastot 8 perc 45 másodperc alatt transzkribál
A Microsoft által kiadott VibeVoice modell egy óra hosszú hanganyagot képes egyetlen futtatásban lefordítani, miközben a beépített speaker diarization automatikusan azonosítja a beszélőket.
Az alapértelmezett 8192 token beállítás körülbelül 25 perc audio feldolgozását teszi lehetővé, míg a 32768 tokenre növelve a modell egy teljes órát is transzkribál — írja a Simon Willison.
A hangalapú technológiák új korszaka
VibeVoice a Whisper‑hez hasonló LLM‑alapú speech‑to‑text architektúrát használ, de a speaker diarization funkciót már a modell magjába építi, így a beszélői azonosítás külön lépés nélkül történik. A 17,3 GB‑os ASR modell 5,71 GB‑os 4‑bitos változata a nyílt forráskódú MIT licenc alatt érhető el, ami lehetővé teszi a szabad felhasználást és módosítást.
Futási idők és hardverigények
A teszt egy 128 GB RAM‑mal felszerelt M5 Max MacBook Pro‑n történt, ahol egy óra hosszú podcast átirása 524,79 másodpercet (8 perc 45 másodperc) vett igénybe. A feldolgozás csúcsmemória‑igénye 30,44 GB, a prefill szakaszban a rendszer 61,5 GB‑ot mutatott a macOS Activity Monitor‑ban. A feldolgozási sebesség 50,718 token per szekundum a prompt, 38,585 token per szekundum a generálás során.
A modell JSON kimenete minden szegmenshez tartalmazza a szöveget, kezdő‑ és befejező időpontot, időtartamot és a speaker_id‑t, így a beszélői diarization egyszerűen kiolvasható. A szerző tesztje három különböző speaker_id‑t azonosított: a beszélgetőpartner, a saját hang, és egy külön Lenny‑variáció a bevezető és a szponzor szöveghez.
VibeVoice csak egy órás audio anyag feldolgozására van optimalizálva; hosszabb felvételek esetén a hangot szegmensekre kell bontani, majd a speaker_id‑ket összehangolni. A modell 2026. január 21‑én került kiadásra a GitHub‑on.