A REFINE modell interaktív visszajelzést ad diákoknak
A REFINE modell egy kontrollált osztálytermi kísérleten és egy valós értékelési helyzeten keresztül került értékelésre.
A 75 diákon végzett kontrollált osztálytermi kísérlet során a REFINE modell demonstrálta, hogy a LLM-alapú visszajelzés interaktív folyamatként működik. A rendszer két fő elemből áll: egy pedagógiai alapokon nyugvó visszajelzési generátor agentből és egy LLM-as-judgert használó regenerációs hurkóból, amelyet egy emberi irányított bíró irányít.
A REFINE nem csak statikus, egyirányú visszajelzést ad; egy önreflektív, eszközhívásos interaktív agent segíti a diákok további kérdéseit, kontextusra építve, cselekvési javaslatokat kínálva. A visszajelzési ciklusok során a rendszer JSON‑alapú függvényhívásokkal dolgozik, így a diákok konkrét, megérthető magyarázatokat kapnak a viselkedési dimenziókról: Effort, Consistency, Proactivity, Assessment és Regularity.
Az online értékelés során a REFINE képes volt a meglévő címkézett adathalmazokon is hatékonyan működni, míg a valós értékelési helyzetben a diákok egy 200 szavas tudományos jelentést írtak, majd interakcióba léptek a chatbot‑eszközzel. A rendszer a diákok kérdéseire valós idejű, kontextusra épülő válaszokat nyújtott.
Ez a megközelítés a diákok tanulási élményét szigorúbb, személyre szabottabb visszajelzéssel gazdagítja, és megmutatja, hogy a LLM‑ek hatékonyan képesek támogatni a tanulási folyamatot, ha interaktív ciklusokra épülnek.
A következő lépés a REFINE skálázása, hogy több tantárgyban és több diákcsoportban is kipróbálható legyen, miközben a rendszer a felhasználói visszajelzések alapján tovább finomodik.