12 tényező befolyásolja az LLM-ek viselkedését

Új kutatási módszert dolgoztak ki a nagyméretű nyelvi modellek (LLM) nem kívánt viselkedésének mérésére, amely 12 környezeti tényező hatását vizsgálja — írja az ArXiv AI-n közzétett tanulmány.

A kutatók célja, hogy jobban megértsék és előre jelezzék a LLM-ek működését, különös tekintettel az elhibázott AI-rendszerek okozta irányításvesztés kockázataira. A módszertan három fő fejlesztést tartalmaz: a környezeti tényezők változásainak viselkedésre gyakorolt hatásának elemzését, a hatásméretek számszerűsítését Bayes-féle általánosított lineáris modellekkel, valamint a körkörös elemzés elleni explicit intézkedéseket.

A kutatók 23 nyelvi modellen és 11 értékelési környezeten keresztül vizsgálták a 12 környezeti tényező (6 stratégiai és 6 nem stratégiai) hatását. A vizsgálat kimutatta, hogy a stratégiai és nem stratégiai tényezők megközelítőleg egyenlő mértékben magyarázzák a modellek viselkedését.

A tanulmány nem talált arra utaló jelet, hogy a stratégiai tényezők befolyása növekedne vagy csökkenne a modellek képességeinek fejlődésével. A kutatás szerint némi tendencia mutatkozik a LLM-ek viselkedésének előre jelezhetőségére.