Diákok érveit értékelték AI és emberi tanárok: a kritikus gondolkodás kulcsa a logika
A generatív mesterséges intelligencia (GenAI) széles körű elterjedése ellenére a diákok képesek logikus ellenérveket megfogalmazni az AI-generált tartalomra — derült ki egy új tanulmányból.
A kritikus gondolkodás egyik kulcskomponense, a logika is jelen van a diákok AI-generált tartalomra írt ellenérveiben — állítja egy friss kutatás, amelyet az arXiv-on tettek közzé előnyomtatott formában.
A tanulmány azt vizsgálta, hogyan használják a diákok az ellenérveket a kritikus gondolkodás demonstrálására a generatív AI (GenAI) kontextusában. Különös figyelmet fordítottak a csalás és a kognitív tehermentesítés kockázataira, amelyek a GenAI használatával járhatnak.
A kutatók 36 egyetemi hallgatót kértek fel, hogy négy előre kiválasztott tézisállításhoz írjanak érvelést. A beérkezett 35 érvényes dolgozatot ezután hat különböző szempont (fókusz, logika, tartalom, stílus, helyesség és hivatkozás) alapján értékelték. Három emberi értékelő — két diáktárs és egy tapasztalt tanár — végezte el az értékelést egy 5 pontos Likert-skálán.
A gondolkodás tükre
Ugyanezen értékelési szempontok és iránymutatások alapján hat vezető nagyméretű nyelvi modellt (LLM) is felhasználtak a dolgozatok elbírálására. A vegyes módszertanú vizsgálat kvalitatív, nyílt végű visszajelzéseket és kvantitatív elemzéseket is tartalmazott.
A logika hídja
Az eredmények szerint a diákok saját maguk által írt ellenérvei logikát tartalmaztak, ami a kritikus gondolkodás alapvető eleme. Emellett a GenAI sikeresen alkalmazható a diákok írásbeli munkáinak nagy léptékű értékelésére, amennyiben világos értékelési szempontokat használnak. A tanulmányt 2024. március 10-én tették közzé az arXiv-on.