Keresztény öröklési jogi feladatokon tesztelték az AI-modelleket — a Gemini vezet
A nagy nyelvi modellek képességét vizsgálták keresztény jogi öröklési esetek megoldására. A kereskedelmi modellek, különösen a Gemini 2.5 Flash, megbízhatóbban teljesítenek, mint a nyílt forráskódú társaik.
Az amerikai PSL kutatócsoport a QIAS megosztott feladatán tesztelte a nagy nyelvi modellek (LLM) képességét arab-iszlám öröklési jogi esetek megoldására. A feladat jogi értelmezést, többlépcsős érvelést és pontos numerikus számítást igényel.
Kereskedelmi modellek előnye
A kutatás kimutatta, hogy a kereskedelmi modellek megbízhatóbban azonosítják az örökösöket, alkalmazzák a kizárási szabályokat és következetesek maradnak az érvelési lépések során. Ezzel szemben a nyílt forráskódú modellek instabilabbnak bizonyultak, különösen összetett jogi döntéseket vagy tört részesedések kiigazítását igénylő esetekben.
Kapcsolódó: arab nyelvi LLM
Gemini 2.5 Flash a legjobb
A legjobb eredményt a Google Gemini 2.5 Flash modell érte el, 0,989-es MRE (Mean Relative Error) értékkel. Ez az eredmény jelentős különbséget mutat a kereskedelmi és a nyílt forráskódú modellek megbízhatósága között.
Kapcsolódó: táblázatkezelés fejlesztése
A kutatók egységesített prompt-stratégiát alkalmaztak, hogy minimalizálják a feladatspecifikus adaptációt, így jobban összehasonlíthatóvá téve a különböző modellcsaládok teljesítményét. A tesztelt modellek között a kereskedelmi megoldások egyértelműen jobban teljesítettek a strukturált jogi érvelésben.
Kapcsolódó: LLM logikus válaszok
A kutatás eredményei az arXiv-on érhetők el, a Google Gemini 2.5 Flash modell 0,989-es MRE értékkel.
Kapcsolódó: AI érvelési teszt