16 darab AMD MI50 GPU gyorsítja a Qwen3.5 modellt
A Qwen3.5 modell 397 milliárd paramétert tartalmaz, amihez a 16 darab AMD MI50 GPU biztosítja a számítási kapacitást.
16 darab AMD MI50 GPU gyorsítja a Qwen3.5 modellt
Az AMD MI50 32 GB HBM2 alapú GPU-ját 16 darab egymás után sorba állítva, a Qwen3.5 397 billion paraméteres modell betanítására használják. A konfiguráció 32 token/s (tg) átvitelsebességet és 2 000 token/s (pp) feldolgozási sebességet ér el.
Ez a beállítás a Qwen3.5 „vllm‑gfx906‑mobydick” kódrészletével fut, amely a vllm keretrendszerre épül, és a GPU-k közti kommunikációt optimalizálja.
Az MI50 32 GB változata a Vega 20 architektúrán alapul, és a 8 kbit/s memóriabandwidtht kínál, ami a mélytanulási feladatokban kritikus.
Az ilyen skálázható hardverkombináció lehetővé teszi, hogy a Qwen3.5 nagyobb promptokra reagáljon valós időben, ami a multimodális és RAG alapú alkalmazások számára előnyös.
Mi lesz a következő lépés? A Qwen3.5 fejlesztői a 2 000 token/s pp sebességét szeretnék tovább növelni, miközben a GPU-k számát is skálázzák.