A QIMMA kiszűri a hibákat az arab nyelvi LLM-benchmarkingból
Több mint 52 ezer mintát tartalmazó értékelési csomagot hozott létre a QIMMA, ezzel a meglévő arab nyelvi LLM-benchmarkingok hiányosságait orvosolja.
Rendszerszintű validációt vezet be az arab nagyméretű nyelvi modellek (LLM) értékelésébe a QIMMA, egy új, minőségbiztosított ranglista. A kutatók célja, hogy megoldják a meglévő arab teljesítménytesztek minőségi problémáit — írja az arXiv.
A QIMMA nem csupán összesíti a létező forrásokat, hanem egy többmodelles értékelési folyamatot alkalmaz. Ez a módszertan ötvözi az automatizált LLM-alapú ítélkezést az emberi felülvizsgálattal, még az értékelés előtt azonosítva és javítva a szisztematikus hibákat a bevett arab benchmarkokban.
Az eredmény egy gondosan összeállított, több területre és feladatra kiterjedő, több mint 52 ezer mintát tartalmazó értékelési csomag. A minták többsége natív arab tartalmakon alapul, egyetlen kivételt képeznek a kódértékelési feladatok, amelyek természetüknél fogva nyelvfüggetlenek.
A QIMMA transzparens implementációt kínál a LightEval és az EvalPlus használatával, valamint nyilvánosan elérhetővé teszi a mintánkénti következtetési kimeneteket. Ezáltal a ranglista reprodukálhatóvá és a közösség számára bővíthetővé válik, megalapozva az arab NLP-értékelés jövőjét az arXiv:2604.03395v1 preprint szerint.