Fél százalékkal javítaná a chatbotok válaszait a DecayingSeart új rendszere

A nagy nyelvi modellek (LLM) széles körű elterjedése szükségessé teszi a modellek igazítását (alignment), hogy azok biztonságosan és hatékonyan reagáljanak a felhasználói utasításra. Az új modellek betanítása során alkalmazott módszerekkel szemben az úgynevezett inference-time alignment (generálás közbeni igazítás) olcsóbb megoldás, mivel csak a kimenet generálása során avatkozik be, útmutatásokat adva.

A meglévő javaslatok megbízhatóságuk megfelelő felmérése nélkül alkalmaznak bizonyos igazított modellekből nyert útmutatásokat. A DecayingSeart kutatói szisztematikus értékelése azonban kimutatta, hogy az útmutatások hatékonysága drasztikusan változik a modellek között. Mivel a hatástalan útmutatások további zavarokhoz és így túlzott beavatkozásokhoz vezetnek, a túlzott beavatkozások általában gyenge teljesítményt jeleznek.

Kapcsolódó: AI-modellek tesztjei

BlendIn: Minőség-tudatos igazítás és megbízhatósági súlyozás

A beavatkozások hatékonyabbá és így eredményesebbé tétele érdekében a kutatók bemutatták a BlendIn rendszert. Ez az inference-time alignment keretrendszer a bináris döntésekről való elmozdulással, hibrid elosztások létrehozásával integrálja a modellek tudását. A BlendIn minőség-tudatos igazítást végez, és megbízhatóságuk alapján arányosan súlyozza az egyes modellek hozzájárulását, stabilizálva ezzel a generálás közbeni igazítást.

Kapcsolódó: nyelvi modellek tanulása

Eredmények és diagnosztikai jelek

A BlendIn megőrzi az előnyös útmutatásokat, miközben leértékeli a megbízhatatlan javaslatokat. A rendszer diagnosztikai jelzéseket és a félrevezető útmutatások kezelésére szolgáló stratégiákat is kínál. A kutatás szerint ez a megközelítés következetes, és akár 50%-os teljesítménynövekedést is elérhet nehéz modellpárokon. A kutatók kódja elérhető a GitHubon, ahol a DecayingSeart csapata további fejlesztéseket tervez.

Kapcsolódó: LLM-ek logikus válaszai