Valós idejű beszédfordítást hoz a Gradium — modellei gyorsabbak és pontosabbak a GPT-nél

A Gradium ma bemutatta két új, valós idejű beszédfordító modelljét, a stt-translate és a s2s-translate. Mindkét modell öt nyelvet támogat, és élőben streamel eredményeket a böngészőbe. A Gradium szerint jobb pontosság-késleltetés kompromisszumot kínálnak, mint a gpt-realtime-translate és a gemini-3.5-live-translate. Új funkcióként hangvezérlést és saját hang klónozását is lehetővé teszik, ami a gpt-realtime-translate-ből hiányzik.

Modellarchitektúra és nyelvi támogatás

A stt-translate egy nyelven fogadja a beszédet, és egy másik nyelven adja vissza a szöveget. Támogatja az angolt (EN), a franciát (FR), a németet (DE), a spanyolt (ES) és a portugált (PT), ami összesen 20 nyelvi párt jelent minden irányban. A kulcsfontosságú tervezési döntés a szokásos háromlépéses folyamat (beszéd-szöveg, szöveg-szöveg fordítás, szöveg-beszéd) kétlépésesre csökkentése. A transzkripció és a fordítás egyetlen menetben történik, a beszédfelismerő modellen belül. Ez kevesebb mozgó alkatrészt jelent a folyamatban.

Kapcsolódó: GPT-Realtime-2 érvelése

Hangfeldolgozás és formátumok

A s2s-translate egy nyelven beszélő hangot alakít át egy másik nyelven beszélő hanggá, végponttól végpontig. A stt-translate-re épül, és egy Gradium TTS modellel párosítja egyetlen szolgáltatásban. A bemeneti hang PCM formátumban, 24 kHz-en, 16 bites mono mintavételezéssel érkezik, míg a kimeneti hang PCM formátumban, 48 kHz-en, 16 bites mono mintavételezéssel távozik. A szolgáltatás támogatja a WAV, Opus, mu-law és A-law formátumokat is.

Kapcsolódó: Supertonic v3 nyelvi fejlesztések

A Gradium saját mérési módszereket használ: BLEU és MetricX. A BLEU (Bilingual Evaluation Understudy) egy elterjedt szabvány, amely a n-gramm átfedést méri a modell kimenete és emberi referenciák között. A MetricX egy tanult, neurális minőségmérő, amelyet a Google fejlesztett ki, és jobban követi az emberi ítéleteket. A Gradium állítása szerint a saját, beszélgetéses jellegű adatkészletén végzett teljesítménytesztek alapján a stt-translate jobb BLEU és MetricX eredményeket ér el, mint a gemini-3.5-live-translate, és jobb BLEU eredményt, míg hasonló MetricX eredményt produkál, mint a gpt-realtime-translate.

Kapcsolódó: Inworld Realtime TTS-2

Az átlagos késleltetés mindkét modellnél 3,0 másodperc, ami jobb, mint a gpt-realtime-translate 3,6 másodperces értéke, és csak kissé marad el a gemini-3.5-live-translate 2,9 másodperces értékétől. A Gradium modellek további előnye, hogy lehetővé teszik a kimeneti hang kiválasztását vagy saját hang klónozását, ami a gpt-realtime-translate-ből hiányzik.

Kapcsolódó: GLM-5.2 tesztelése

A kétlépéses modellcsomag (stt-translate és TTS) eltünteti a harmadik, különálló szöveg-szöveg fordítási modellt, csökkentve ezzel a késleltetést és az integrációs terhet. A Gradium szerint ez a megközelítés rövidebb végponttól végpontig tartó utat eredményez, miközben megőrzi a minőséget. Az új modellek alkalmasak élő szinkronizálásra, többnyelvű hangügynökök létrehozására és valós idejű megbeszélésekhez.

Kapcsolódó: NVIDIA ASR-40 nyelv

A Gradium Python SDK-ja lehetővé teszi az audio streamelését a Speech-To-Speech végponton keresztül, és fordított hangot, valamint átiratot ad vissza. A szolgáltatás a wss://api.gradium.ai/api/speech/s2s címen érhető el. A Gradium tervei szerint a szolgáltatás elérhető lesz a wss://api.gradium.ai címen.