AntAngelMed: 103 milliárd paraméteres orvosi modell nyílt forráskóddal, 7-szeres hatékonysággal
Az új modell a Mixture-of-Experts (MoE) architektúrát használja 1/32-es aktiválási aránnyal, így futás közben mindössze 6,1 milliárd paraméter aktív.
Kínai kutatók kiadták az AntAngelMed nevű orvosi nyelvi modellt, amelyet a csapat a legnagyobb és legképzettebb nyílt forráskódú modellnek tart a kategóriájában — írja a MarkTechPost.
Az AntAngelMed összesen 103 milliárd paraméterrel rendelkezik, de a Mixture-of-Experts (MoE) architektúrának köszönhetően az inferencia során csak 6,1 milliárd paraméter aktív. Ez a megközelítés a fejlesztők szerint egy körülbelül 40 milliárd paraméteres sűrű modell teljesítményét nyújtja, miközben jelentősen gyorsabb sebességet biztosít. A csapat szerint a MoE modellek akár 7-szeres hatékonyságot is biztosítanak a hasonló méretű sűrű architektúrákhoz képest.
A modell szíve: optimalizált architektúra
A modell a Ling-flash-2.0 alapjaira épül, amelyet az inclusionAI fejlesztett ki. Az AntAngelMed számos optimalizációt tartalmaz, mint például finomított expert granularitás, hangolt megosztott expert arány, figyelmi egyensúly mechanizmusok, és egy Multi-Token Prediction (MTP) réteg. Ezek a fejlesztések lehetővé teszik, hogy a modell a 200 token/másodperc sebességet is meghaladja H20 hardveren, ami a kutatócsoport szerint körülbelül 3-szor gyorsabb, mint egy 36 milliárd paraméteres sűrű modell.
Képzési folyamat és eredmények
Az AntAngelMed háromlépcsős képzési folyamaton esett át. Az első szakasz a folyamatos előképzés nagyméretű orvosi korpuszokon. Ezt követi a felügyelt finomhangolás (SFT) több forrásból származó utasításkészleten, amely általános érvelési feladatokat és orvosi forgatókönyveket is tartalmaz. Végül a megerősítő tanulás a GRPO (Group Relative Policy Optimization) algoritmussal történik, amely az empátia, a strukturált klinikai válaszok és a biztonsági határok felé tereli a modell viselkedését, csökkentve a hallucinációkat az orvosi kérdésekben.
A modell a YaRN (Yet Another RoPE extensioN) extrapolációval 128K kontextushosszt támogat, ami elegendő a teljes klinikai dokumentumok, kiterjesztett betegtörténetek vagy többfordulós orvosi párbeszédek kezelésére. A MedAIBase kutatócsoportja kiadott egy FP8 kvantált verziót is, amely az EAGLE3 spekulatív dekódolási optimalizációval kombinálva jelentősen javítja az inferencia átviteli sebességét.
Az AntAngelMed az OpenAI HealthBench nevű orvosi értékelési benchmarkján az első helyen áll az összes nyílt forráskódú modell között, és felülmúl számos vezető zárt forráskódú modellt is. A modell súlyai Apache 2.0 licenc alatt érhetők el, a kód pedig MIT licencet kapott, és a kutatócsoport 2024. március 15-én tette közzé.