Ritka eseményre optimalizált AI-módszer javítaná a strukturált szöveggenerálást

Új dekódolási módszert dolgoztak ki kutatók, amely a ritka eseményekre optimalizálva hűebben generál strukturált szövegeket. A LatticeBridge eljárás javítja az úgynevezett anchorok kielégítését és lefedettségét a korábbi, zöldmezős, sugár-szűrt és legjobb-k-őssejt alapú módszerekhez képest — írja az arXiv-en megjelent tanulmány.

A strukturált szöveggenerálás kihívásai

A strukturált szekvenciák generálása gyakran megköveteli, hogy egy modell több, bemenetből származó megkötést teljesítsen egyetlen kimenetben. A hagyományos dekódolási módszerek ugyanakkor magas valószínűséget rendelhetnek a gördülékeny folytatásokhoz, miközben alacsony tömeget rendelnek az összes szükséges anchor megvalósításához.

Kapcsolódó: xLSTM architektúra

A LatticeBridge módszer lényege

A LatticeBridge egy kompakt prefix nyelvi modellt, példány-fordított felületi automatákat és egy csavart szekvenciális Monte Carlo (SMC) dekódert kombinál újratanásolással, többszintű felosztással és egy példány-biztosította frazémákból származó forrás-támogatási javaslati taggal. A megkötés reprezentációját minden bemeneti példányból fordítják le, és nem támaszkodik manuálisan kurált lexikális osztályokra.

Kapcsolódó: diszkrét diffúzió

Eredmények és alkalmazások

A CommonGen, E2E NLG és WikiBio adatbázisokon végzett 2610 elérhető validációs feladaton a részecskedekóder javítja az exact anchor satisfaction és a mean anchor coverage mutatókat a korábbi alapvonalakhoz képest, egy megosztott javaslati modell alatt.

Kapcsolódó: PARSE rendszer

A kutatás a DNS-alapú adattárolásban és a nyelvi modellek finomításában is hasznos lehet. A CommonGen adatbázison elért eredmények alapján a LatticeBridge módszer 95%-os exact anchor satisfaction értéket ért el.

Kapcsolódó: Toeplitz MLP Mixer