A GPT-5.4-mini 22 százalékpontot veszített a GPT-5-mini-hez képest
A GPT-5.4-mini modell a benchmarkokban 22 százalékponttal marad el elődjétől — a közösség szerint az OpenAI a költséghatékonyság oltárán áldozta fel a teljesítményt.
A GPT-5.4-mini modell teljesítményének visszaesése a Reddit felhasználók által fedeztetett fel. A GPT-5.4-mini 22 százalékpontot veszített a GPT-5-mini-hez képest, ami jelentős visszaesést jelent a két modell között.
Az okok, amelyek a visszaeséshez vezettek, nem teljesen tisztázottak, de a Recursive Language Models megoldása szerint a GPT-5.4-mini alapértelmezetten rövidebb, tömörebb kimeneteket állít elő. Ez a Vanilla accuracy-t is befolyásolja, amely 69,5%-ról 47,2%-ra csökkent 12 feladatban.
A GPT-5.4-mini modell teljesítményének visszaesése azt jelenti, hogy a modell kevésbé hatékony a feladatok megoldásában, mint a GPT-5-mini. Ez a visszaesés azért fontos, mert a GPT-5.4-mini modellt gyakran használják a gyakorlati alkalmazásokban, például a természetes nyelv feldolgozásában és a gépi tanulásban.
A Recursive Language Models megoldása szerint a GPT-5.4-mini modell teljesítményének visszaesését a modell architektúrájában bekövetkezett változások okozhatják. A modell fejlesztői azonban nem kommentálták még a visszaesést, és nem nyilatkoztak a probléma megoldásáról.
A jövőben várhatóan további információk derülnek ki a GPT-5.4-mini modell teljesítményének visszaeséséről és a probléma megoldásáról. Addig is a fejlesztők és a felhasználók figyelmét felhívjuk arra, hogy a GPT-5.4-mini modell teljesítménye nem felel meg a GPT-5-mini modell teljesítményének, és ennek megfelelően kell használni a modellt.