AMD MI300X GPU-n finomhangoltak klinikai AI-t — CUDA nélkül működik a HuggingFace ökoszisztéma
A MedQA projekt egy Qwen3-1.7B klinikai kérdés-válasz AI modellt finomhangolt AMD MI300X GPU-n, mindössze öt perc alatt, 2000 mintán.
Klinikai kérdés-válasz AI modellt finomhangoltak AMD Instinct MI300X GPU-n, teljes egészében ROCm szoftverrel, NVIDIA CUDA függőségek nélkül — írja a Hugging Face blogja. A lablab.ai és HK2184 által létrehozott MedQA projekt célja a volt, hogy bebizonyítsa a HuggingFace ökoszisztéma zökkenőmentes működését AMD hardveren.
A MedQA egy LoRA finomhangolású klinikai kérdés-válasz modell, amely orvosi feleletválasztós kérdésekre ad választ, kiegészítve klinikai magyarázatokkal. A teljes betanítási folyamat, az adatok betöltésétől az adapter exportálásáig, AMD Instinct MI300X-en futott, egyetlen CUDA-függőség nélkül.
A HuggingFace és az AMD: Új fejezet a klinikai AI-ban
Az AMD Instinct MI300X 192 GB HBM3 memóriája kulcsfontosságú volt a projektben. Ez a nagy VRAM-kapacitás lehetővé tette a Qwen3-1.7B modell LoRA finomhangolását teljes fp16 pontossággal, 4-bites vagy 8-bites kvantálás nélkül. A projekt készítői szerint a HuggingFace ökoszisztéma – Transformers, PEFT, TRL, Accelerate – zökkenőmentesen működik ROCm-en, mindössze három környezeti változó beállításával.
A LoRA technológia áttörése a klinikai AI-ban
A MedMCQA adathalmazt, amely indiai orvosi felvételi vizsgákból származó feleletválasztós kérdéseket tartalmaz, használták a betanításhoz. A projekt során 2000 mintát használtak, ezzel demonstrálva, hogy gyorsan is elérhető értelmes finomhangolás. A Qwen3-1.7B modell LoRA finomhangolása mindössze 5 percet vett igénybe a MI300X-en.
A Qwen/Qwen3-1.7B alapmodell, egy 1,7 milliárd paraméteres, kis méretű nyelvi modell, elég kompakt a költséghatékony finomhangoláshoz, mégis képes koherens klinikai érvelésre. A LoRA (Low-Rank Adaptation) technológiát alkalmazták, amely csak a modell 1,5 milliárd paraméteréből körülbelül 2,2 millió paramétert tanít be, alacsonyan tartva a memóriaigényt és gyorsítva a képzést.
A finomhangolt adapter nyilvánosan elérhető a HuggingFace Hubon, HK2184/medqa-qwen3-lora néven, 2024. március 15-étől.