Kimi K3 olcsóbb, de lassabb a GPT-5.6 Solnál – a routing hozza a legjobb eredményt

A Moonshot AI Kimi K3 és az OpenAI GPT-5.6 Sol modelljeit hasonlították össze a DeepSWE teljesítményteszten, amely a szoftverfejlesztési képességeket teszteli. A tesztek kimutatták, hogy míg a GPT-5.6 Sol jobb eredményt ér el egyetlen próbálkozásból (pass@1), addig a Kimi K3 jobban teljesít több próbálkozás esetén (pass@k, ahol k>1), ráadásul 64%-kal olcsóbb feladatonként.

A DeepSWE tesztelés során a GPT-5.6 Sol 72,7%-os pass@1 eredményt ért el, míg a Kimi K3 68,5%-ot. Azonban több próbálkozás esetén a Kimi K3 előnybe került: pass@2-nél 82,0% vs. 81,0%, pass@4-nél pedig 89,4% vs. 85,8% lett az eredmény. A Kimi K3 költséghatékonysága is kiemelkedő: egy feladat futtatása 4,65 dollárba kerül, szemben a Sol 8,37 dolláros árával, ami azt jelenti, hogy dollárra vetítve 2,8-szor több feladatot old meg.

Kapcsolódó: Kimi K2.7 weboldalgenerálás

Költség és sebesség

A Kimi K3 nemcsak olcsóbb, hanem dolláronként is több megoldott feladatot kínál: 100 dollárból 14,7 feladatot old meg, míg a Sol csak 5,3-at. A sebesség terén azonban a GPT-5.6 Sol a gyorsabb, átlagosan 17 perc alatt végez egy feladattal, míg a Kimi K3 66 percet vesz igénybe. A lassabb sebesség oka a modell viselkedésében rejlik, több lépést használ fel a feladatok megoldásához.

Kapcsolódó: Kimi K2.6 és K3 érkezése

Megbízhatóság és fedettség

A megbízhatóságot tekintve a GPT-5.6 Sol jobban teljesít: 84,5%-os megbízhatósággal rendelkezik, és 61 feladatot old meg mind a négy próbálkozásból. Ezzel szemben a Kimi K3 76,6%-os megbízhatóságot mutat, és 45 feladatot old meg stabilan. A Kimi K3 szélesebb körű fedettséget biztosít (89,4%), ami azt jelenti, hogy több különböző típusú feladatot képes legalább egyszer megoldani.

Kapcsolódó: GPT-5.5 árazás és hallucináció

Routing: a legjobb megközelítés

Mivel a két modell eltérő módon hibázik és sikeres, a legjobb megközelítés a routing, azaz a feladatok elosztása közöttük. Egy olyan stratégia, amely először a Kimi K3-at próbálja meg, majd ha nem oldja meg a feladatot, átadja a GPT-5.6 Solnak, a 113 feladatból 108-at (kb. 85,6%) képes megoldani. Ez az eredmény jobb, mint bármelyik modell önálló teljesítménye, és még egy tökéletes, egypróbás routert is felülmúl.

A két modell közötti korreláció mindössze 0,46, ami azt jelenti, hogy valóban eltérő módon közelítik meg a problémákat. A Kimi K3-at használva a feladatok nagy részét olcsóbban oldhatjuk meg, mielőtt a drágább Sol modellt bevetnénk, így a routing stratégia költséghatékonyabbá teszi a magas feladatmennyiséggel dolgozó rendszereket.

Kapcsolódó: Kimi K2.6 vs Gemini 3.1 Pro

Routing: a legjobb megoldás

Mivel a két modell eltérő módon hibázik és sikeres, a legjobb megközelítés a routing, azaz a feladatok elosztása közöttük. Egy olyan stratégia, amely először a Kimi K3-at próbálja meg, majd ha nem oldja meg a feladatot, átadja a GPT-5.6 Solnak, a 113 feladatból 108-at (kb. 85,6%) képes megoldani. Ez az eredmény jobb, mint bármelyik modell önálló teljesítménye, és még egy tökéletes, egypróbás routert is felülmúl.

Kapcsolódó: OpenAI GPT-5.6 stratégiája

A két modell közötti korreláció mindössze 0,46, ami azt jelenti, hogy valóban eltérő módon közelítik meg a problémákat. A Kimi K3-at használva a feladatok nagy részét olcsóbban oldhatjuk meg, mielőtt a drágább Sol modellt bevetnénk, így a routing stratégia költséghatékonyabbá teszi a magas feladatmennyiséggel dolgozó rendszereket. A DeepSWE tesztelés 113 feladatot használt.