Új keretrendszer tanítja meg a modelleket a kódtváltásra a jobb érvelésért
A nagyméretű nyelvi modellek (LLM) érvelési képességei jelentősen fejlődtek az utóbbi időben, ám a nyelvkeverés, vagyis a kódtváltás eddig kihívást jelentett a fejlesztőknek.
Új finomhangolási keretrendszert mutatott be az ArXiv, amelynek célja, hogy a nagyméretű nyelvi modellek (LLM) hatékonyabban tudjanak kódot váltani, ezzel javítva érvelési képességeiket — írja a kutatási portál.
A korábbi megközelítések a kódtváltást gyakran hibaként kezelték, vagy csak szűk nyelvi, feladat- és modellkörre fókuszáltak. A mostani kutatás egy olyan adathalmazt hozott létre, amely különböző modellek, nyelvek és feladatok érvelési nyomait elemzi, hogy azonosítsa a hasznos kódtváltási viselkedéseket.
A nyelvi váltás mint eszköz
A kutatók szerint a modellek gyakran keverik a nyelveket, még akkor is, ha monolingvális szövegek generálására képezték ki őket. Ez a jelenség, a kódtváltás, eddig akadályt jelentett, de az új keretrendszerrel most előnyére fordítható az érvelési feladatokban.
Fejlesztési irányok
A Claude API dokumentációja szerint a modellek már most is kiválóan teljesítenek a többnyelvű feladatokban és az érvelésben, de a mostani finomhangolás célja, hogy ezt a képességet még inkább megerősítse. A cél egy olyan módszer kidolgozása, amely a nyelvi váltást nem hibaként, hanem a komplex problémamegoldás eszközeként kezeli a jövőbeli LLM-ekben, mint például az ArXiv 2024. márciusi kiadásában.