A LLM-ek már nemcsak megértik, hanem számszerűsítik az emberi szociális logikát

Az emberi szociális logika számszerűsítésére két új metrikát vezettek be a kutatók: az Effect Size Ratio (ESR) és a Calibration Deviation Score (CDS) mutatókat — írja az ArXiv-on megjelent tanulmány.

Ezekkel a mérésekkel nem csupán azt vizsgálták, hogy a nagy nyelvi modellek (LLM-ek) mennyire képesek minőségileg utánozni az emberi pragmatikus és szociális gondolkodást, hanem azt is, hogy mennyire pontosan reprodukálják annak nagyságrendjét. A kutatás szerint a LLM-ek egyre inkább emberihez hasonló mintázatokat mutatnak a társas interakciók megértésében és feldolgozásában.

A tanulmányban két fő kérdésre kerestek választ: képesek-e a LLM-ek az emberi szociális jelentést nemcsak minőségileg, hanem mennyiségileg is megközelíteni, és javíthatók-e ezek a közelítések pragmatikai elméleteken alapuló promptolási stratégiákkal. A kutatók szerint a szociális jelentés a nyelvi alternatívák közötti érvelésből fakad, a hallgatók pedig a beszélő tudásállapotára és kommunikációs motívumaira következtetnek.

Egy esettanulmányban három vezető LLM számszerű (pontatlan) megfogalmazásait vizsgálták. A modellek megbízhatóan reprodukálták az emberi szociális következtetések minőségi struktúráját, de eltértek a pontos kalibrációban, azaz a jelenség nagyságrendjének visszaadásában.