Új hálózati modell mérné a szövegek koherenciáját
A kutatók egy új, SSN (Sentence/Skeleton Similarity Network) nevű hálózatot javasoltak, amely a szövegkohéziót két mondat közötti konzisztenciával méri.
A szöveges koherencia modellezése régóta izgatja a természetes nyelvi feldolgozás (NLP) kutatóit, hiszen ez elengedhetetlen az inkoherens struktúrák felismeréséhez és javításához — írja az arXiv:2604.02451v1 számú preprint.
A területen korábban neurális hálózatokat használtak arra, hogy egy mondatból kivonjanak egy „vázlatot”, majd ebből generálják a következő mondatot, így biztosítva a koherens narratív történetgenerálást. A friss kutatás most azt vizsgálta, hogy a vázlatok konzisztenciája mennyire alkalmas a szövegkohézió mérésére egymást követő mondatok között.
A koherencia szövetének szálai
Ennek jegyében egy új Sentence/Skeleton Similarity Network (SSN) hálózatot vezettek be a kutatók, amely a mondatpárok közötti koherenciát modellezi. A kutatás szerint a SSN hálózat sokkal jobban teljesít, mint az alapvető hasonlósági technikák, mint a koszinusz hasonlóság és az euklideszi távolság.
A vázlatok varázsa
Azonban a vázlatok ígéretesnek tűnő szerepe ellenére, a kutatók eredményei szerint a mondatszintű modellek felülmúlják a vázlat alapú modelleket a szöveges koherencia értékelésében. A tanulmány az arXiv platformon, 2024. április 15-én jelent meg.