A RASPRef keretrendszer fejleszti a promptokat emberi felügyelet nélkül
Rahul Soni szerint a RASPRef keretrendszerrel elérhető javulás a GSM8K-stílusú matematikai okoskodási feladatokban
Rahul Soni a RASPRef nevű keretrendszerrel bemutatta, hogy a promptok automatikusan javíthatók nagyobb okos modellekhez, például a DeepSeek R1 és az OpenAI o1 esetében, anélkül, hogy emberi felügyeletre lenne szükség. A kutatás a GSM8K‑stílusú matematikai feladatokon futtatta le a módszert, és a statikus promptokhoz képest mérhető javulást ért el.
A RASPRef a promptot nem csupán a modell bemeneteként kezeli, hanem egy optimalizálható célként. A rendszer először releváns példákat és korábban generált gondolkodási útvonalakat keres ki, majd többféle önellenőrző jelet – több mint egy mintától származó konzisztencia, ellenőrző visszajelzés és a modell által létrehozott kritikák – használva finomhangolja a promptot. Így a prompt önmagában is „tanul”, a feladat specifikus felügyelet nélkül.
A módszer lényege a retrieval‑augmented self‑supervised refinement: a promptot egy iteratív, keresés‑alapú folyamat során fejlesztik, miközben a modell saját előrejelzéseiből és kritikáiból nyer ki visszajelzést. Ez a megközelítés különbözik a korábbi, csak a modell kimenetére fókuszáló technikáktól, mert a promptot közvetlenül célozza meg.
A kísérletek során a GSM8K‑ben a RASPRef javított a teljesítményt a statikus prompt alapjához képest, de a részletes százalékos növekedést a cikk nem ismertette. A kutatók rámutattak, hogy a retrieval minősége, a kiválasztott útvonalak és a self‑supervised visszajelzések minősége jelentősen befolyásolja a finomhangolás hatékonyságát.
Jelenleg a RASPRef egy kutatási prototípus, de a fejlesztők szerint a keretrendszer praktikus és skálázható stratégia lehet a jövőbeli, nagyobb okos modellek promptjainak fejlesztésére. A következő lépések közé tartozik a módszer más, komplexebb feladatokra, például többlépcsős kérdés-válaszra és logikai döntéshozatalra történő alkalmazása. A kutatók a következő hónapokban tervezik a részletes eredmények publikálását, amelyben a RASPRef teljes potenciálját és a lehetséges korlátait is bemutatják.