Tíz megoldatlan kérdés a nagy nyelvi modellek körül — Chip Huyen összegzése

A Chip Huyen által azonosított 10 nyitott LLM-kutatási irányból a hallucináció csökkentése és a kontextus tanulás a legfontosabbak, de a lista további érdekes irányokat is tartalmaz, mint a multimodális tanulás és az új architektúrák kifejlesztése.

A LLM-k fejlesztésének egyik fő akadályát a hallucináció jelenti, amikor a modell „kitalál” információkat. A kontextus tanulás szintén kritikus, mivel a legtöbb kérdéshez kontextus szükséges a pontos válaszadáshoz. A RAG – Retrieval Augmented Generation – technológia például két fázisból áll: a chunking és a querying, ahol a modell a kontextusból származó információkat használja fel a válaszadásra.

A hiányzó láncszem

A multimodális tanulás, amely a szövegen kívül más adatmodalitásokat, például képeket vagy videókat is felhasznál, ígéretes iránynak tűnik a modell teljesítményének javításában. A Flamingo architektúra például lehetővé teszi a modell számára, hogy mind szöveget, mind képeket értelmezzen, ami különösen hasznos lehet olyan alkalmazásokban, mint a termékinformáció-keresés vagy a látássérültek támogatása.

Ahol a számok beszélnek

A fejlesztések eredményeként olyan modellek jöttek létre, amelyek teljesítménye közelít a GPT-3.5-éhez, de memóriaigénye csak a töredéke. Például a Guanaco 7B modell, amelynek memóriaigénye csupán 6GB, szemben a GPT-3.5 375GB-jével, ígéretes lehetőségeket rejt magában a gyorsabb és olcsóbb LLM-alkalmazások fejlesztésében.

A Guanaco 7B modell 2024. márciusában került bemutatásra, és azóta folyamatosan fejlesztik tovább.