Maria Mouschoutzi összehasonlítja a RAG-t és a finomhangolást

A RAG, vagyis a Retrieval-Augmented Generation (visszakereséssel kiegészített generálás) lényege, hogy futásidőben releváns külső információkat szerez be, és ezeket injektálja a promptba. A modell maga nem változik, csak a bemenete. A technika jól használható dokumentumokról, tudásbázisokról vagy olyan adatokról való kérdések megválaszolására, amelyeken a modell sosem tanult, valamint a tudásbázis frissítésével naprakészen tartható anélkül, hogy a modellt újra kellene képezni.

A RAG és a finomhangolás különböző rétegekben működik

A RAG nem változtatja meg a modell viselkedését, hangnemét, érvelési stílusát vagy feladatteljesítményét. Ha egy modell hajlamos túl bőbeszédű lenni, a RAG nem teszi rövidebbé a válaszait, és nem javítja a kimeneti formátummal kapcsolatos problémákat sem.

Kapcsolódó: prompt-tesztelőrendszer

A finomhangolás hogyan működik

Ezzel szemben a finomhangolás egy előképzett modell továbbképzése egy új, feladatspecifikus adathalmazzal, amely során a modell súlyai módosulnak. Míg a RAG a bemeneteket változtatja, a finomhangolás magát a modellt alakítja át. Az alapmodell súlyait úgy állítják be, hogy a kimenetei jobban hasonlítsanak a specifikus példákra.

Kapcsolódó: iNaturalist-csoportosítás

A RAG általában olcsóbb a beállításához, mint a finomhangolás, de a finomhangolás bizonyos feladatoknál jobb eredményeket produkálhat. A választás az elérhető adatok, a költségek, a késleltetés és a teljesítményigények függvénye — írja a Towards Data Science.

Kapcsolódó: ReAct AI-ügynökök