Akár 19 F1 ponttal javíthatja a gyógyszeregyeztetést a FHIR adatok formátuma

A nagyméretű nyelvi modellek (LLM-ek) teljesítményét jelentősen befolyásolja a bemeneti adatok szerializálási stratégiája, különösen az egészségügyi gyógyszeregyeztetési feladatoknál — derül ki egy új, előnyomtatott formában megjelent kutatásból, amelyet az arXiv-on publikáltak.

A tanulmány négy különböző FHIR adatszerializálási stratégiát (Raw JSON, Markdown Table, Clinical Narrative, Chronological Timeline) vizsgált öt nyílt forráskódú LLM-en (Phi-3.5-mini, Mistral-7B, BioMistral-7B, Llama-3.1-8B, Llama-3.3-70B). A kutatók 200 szintetikus páciens adatait használták fel, összesen 4000 következtetési futtatást végezve.

A szerializálás hatása a modellméretre

Az eredmények szerint a szerializálási stratégia nagymértékben, statisztikailag szignifikánsan befolyásolja a 8 milliárd paraméterig terjedő modellek teljesítményét. A Mistral-7B esetében a 'Clinical Narrative' formátum akár 19 F1 ponttal is felülmúlta a 'Raw JSON' stratégiát — írja az arXiv-on megjelent tanulmány.

A modellméret és a szerializálás kapcsolata

Érdekes fordulatot mutat a 70 milliárd paraméteres modellek vizsgálata: itt a 'Raw JSON' bizonyult hatékonyabbnak, mint a 'Clinical Narrative' — állítja a kutatás. Ez a tendencia arra utal, hogy a nagyobb modellek jobban képesek feldolgozni a strukturálatlanabb, nyers adatformátumokat, míg a kisebb modellek számára a jól strukturált, narratív formátum segíti a kontextus megértését.

A kutatás gyakorlati, bizonyítékokon alapuló formátumajánlásokat kínál a klinikai LLM-ek telepítéséhez: 'Clinical Narrative' a 8B paraméterig terjedő modellekhez, 'Raw JSON' pedig a 70B és annál nagyobb modellekhez. A BioMistral-7B, egy domain-előtanított modell, minden körülmény között nulla használható kimenetet produkált, ami azt mutatja, hogy az előtanítás önmagában nem elegendő a strukturált információk kinyeréséhez. A Llama-3.3-70B modell 2024. március 10-én lett publikálva.