Két nagyságrendet csökkent az AI a kínai nyelvtan-javításban — új módszerrel
Az új CSRP módszer 50.99 $F_{0.5}$-os eredménnyel új csúcsot állít fel a kínai nyelvtani hibajavításban, miközben 5.20 ponttal múlja felül a GPT-4-et a helyesírásban.
A kínai nyelvtani hibajavító (CGEC) rendszerek fejlesztése két fő kihívással néz szembe: az általános modellekből hiányoznak a finom nyelvi különbségekhez szükséges speciális ismeretek, a felügyelt finomhangolás (SFT) pedig nem optimalizálja a precíziós metrikákat, ami túlzott javításokhoz vezet. A probléma megoldására a kutatók bemutatták a CSRP-t, egy új, háromlépcsős keretrendszert — írja az ArXiv NLP.
A CSRP először Continual Pre-training (CPT) fázison esik át 5.9 millió kiegyensúlyozott mintán, hogy elsajátítsa a doménspecifikus tudást. Ezt követi a Chain-of-Thought SFT, amely explicit hibakeresési folyamatot használ a diagnosztikai átláthatóság érdekében. Végül a Group Relative Policy Optimization, egy új, hatékonyságtudatos jutalmazási mechanizmussal, amely kifejezetten bünteti a felesleges módosításokat.
Kapcsolódó: LLM érvelési képessége
A nyelvtani hibajavítás új korszaka
A NACGEC teljesítményteszten a CSRP 50.99 $F_{0.5}$-os eredménnyel és 57.17-os precízióval teljesített, jelentősen felülmúlva a korábbi legjobb eredményeket, miközben hatékonyan csökkentette a Maximum Likelihood Estimation (MLE) által betanított modellek túlzott javítási tendenciáját.
Kapcsolódó: LLM mint bíró
Áttörés a helyesírás-javításban
A módszer a CSCD helyesírás-javítást is 59.61 F1-re emelte, ami 5.20 ponttal jobb a GPT-4 teljesítményénél. Az eredmények azt mutatják, hogy a reinforcement learning (RL) igazítási szakasz 8%-os relatív növekedést biztosít a SFT alapmodellhez képest, és ez a hatás független a nagyméretű CPT hozzájárulásától. A CSRP módszer a 2024. március 10-én publikált tanulmányban 50.99 $F_{0.5}$-os eredményt ért el.
Kapcsolódó: VPS-módszer