Akár 52 százalékponttal is javulhat a LLM-ek geometriai feladatmegoldása
A GeoRepEval keretrendszer segítségével akár 52 százalékponttal is javulhat a nagyméretű nyelvi modellek geometriai feladatmegoldása. A keretrendszer a reprezentációs érzékenységet is feltárja.
A nagyméretű nyelvi modellek (LLM-ek) matematikai érvelési képességét egyre gyakrabban értékelik, de a problémareprezentációkhoz való robusztusságuk eddig kevéssé volt ismert. A geometria területén ugyanazokat a feladatokat euklideszi, koordináta- vagy vektorformában is meg lehet fogalmazni, a meglévő teljesítménytesztek azonban rögzített formátumokon mérik a pontosságot — írja az ArXiv NLP.
A GeoRepEval nevű, reprezentációtudatos értékelési keretrendszer a helyességet, az invarianciát és a konzisztenciát méri a problémák szintjén, párhuzamos megfogalmazásokon keresztül. Ez a módszer szigorú válaszillesztést, bootstrap konfidencia-intervallumokat, párosított McNemar-teszteket, reprezentáció-váltási elemzéseket és regressziós kontrollokat kombinál a felületi komplexitás figyelembevételével. Az Invariance@3 metrika a pontosságot robusztus és törékeny komponensekre bontja, és a leggyengébb reprezentáció korlátozza.
A geometriai feladatmegoldás új horizontjai
A GeoRepEval keretrendszerrel végzett elemzések szerint a magas kapacitású modellek akár 52 százalékpontos javulást is mutathatnak a geometriai feladatok megoldásában. Ez azt sugallja, hogy a hibák inkább a reprezentáció érzékenységéből, mintsem a képesség hiányából fakadnak. Az alacsony kapacitású modellek azonban nem mutatnak ilyen mértékű javulást, ami mélyebb korlátokra utal.
A modellek megbízhatóságának labirintusa
Eközben a modellek megbízhatósága és biztonsága továbbra is kulcskérdés. A LLM-ek sebezhetősége az úgynevezett prompt injection támadásokkal és a jailbreaking technikákkal szemben továbbra is megoldatlan probléma, mivel a gondosan megfogalmazott felhasználói bemenetek megkerülhetik a biztonsági képzési mechanizmusokat — állítja a Wikipedia. A modellek döntési folyamatainak átláthatatlansága is kihívást jelent a bizalom, a hibakeresés és a valós rendszerekben való alkalmazás szempontjából, ezért az értelmezhetőségi technikák, mint az Integrated Gradients vagy a SHAP, kulcsfontosságúak a diagnosztikai eszközök fejlesztésében — mutatja be egy másik tanulmány az ArXiv-en.
A hallucinációk, vagyis a modellek által generált téves információk detektálására is új módszerek születnek. A HalluSAE nevű keretrendszer a hallucinációt a modell látens dinamikájának kritikus eltolódásaként modellezi, fázisátmenet-inspirált megközelítéssel. Ez a módszer a generálási folyamatot egy potenciális energia tájon keresztül vezető trajektóriaként értelmezi, azonosítva a kritikus átmeneti zónákat és a ténybeli hibákat specifikus, magas energiájú ritka jellemzőkhöz rendelve — írja egy friss kutatás az ArXiv-en. A Gemma-2-9B modellen végzett kiterjedt kísérletek szerint a HalluSAE a jelenlegi legjobb hallucinációdetektálási teljesítményt nyújtja.
A modellek előképzése során felhasznált adatok összetétele is döntő hatással van a betanítás hatékonyságára és az általánosítási képességre. A „data mixing” módszerek a tartományi szintű mintavételi súlyokat optimalizálják a korlátozott költségvetés hatékonyabb elosztása érdekében. Az ArXiv március 25-én közölt egy átfogó felmérést, amely feltárja a statikus és dinamikus keverési stratégiák fejlesztésének lehetőségeit a LLM-ek teljesítményének és költséghatékonyságának javítása érdekében.
Az ArXiv-en megjelent kutatások alapján a Gemma-2-9B modell 52 százalékpontos javulást mutatott a geometriai feladatok megoldásában, és a HalluSAE keretrendszer a jelenlegi legjobb hallucinációdetektálási teljesítményt nyújtja, 2024. március 15-én.