A Transformer-architektúra a jövő AI-ja — vagy csak az első lépés?

A Transformer-architektúra jelenleg a komoly AI-alkalmazások referenciamodellje, nem azért, mert ez a leginkább agyszerű, elegáns vagy hatékony dizájn. Azért lett etalon, mert a legjobb skálázódási sztorival rendelkezik. Adatok, paraméterek, számítási kapacitás, kontextushossz és jobb betanítási receptek hozzáadásával a modell meglepően simán javul.

A Transformer szuperereje az úgynevezett „attention” mechanizmus, amely lehetővé teszi, hogy minden token (szó, képkocka stb.) minden más tokenre „odafigyeljen”, és eldöntse, mi a releváns. Ez egy rendkívül általános művelet, amely jól működik nyelven, kódon, képeken, hangon, videón, fehérjeszekvenciákon, robotikai tokeneken és eszközök nyomkövetésénél.

Kapcsolódó: xLSTM architektúra

A Transformer Architektúra Korlátai

Ennek az előnynek azonban ára van: az attention mechanizmus költséges. A teljes önfigyelem rosszul skálázódik a szekvenciahosszal. Az autoregresszív generálás során a modell egy kulcs-érték gyorsítótárat tart fenn, amely a kontextussal együtt nő.

Kapcsolódó: AI-ügynök számítógépe

A Jövőbeli Fejlesztések

A kérdés tehát nem az, hogy a Transformer-modellek jók-e — látványosak. A valódi kérdés az, hogy vajon ez a végleges architektúra, vagy csak az első igazán skálázható megoldás, amelyet hamarosan valami gazdagabb vált fel. A TheSequence szerint a Transformer-modell a BERT modellhez hasonlóan továbbfejleszthető, például a RoBERTa modellben.

Kapcsolódó: Anchor rendszer