Vintage LLM 340 M paraméterrel, 1900 előtti tudáskorláttal érkezik

A Vintage LLM 340 M paraméterrel kisebb, mint a Talkie‑13B vagy a TypewriterLM‑7.24B, de a 1900 előtti tudáskorlátot szigorúbbnak tekintik, mint a GPT‑1900 — írja a crlf.link.

Architektúra és paraméterek

Az új modell a Llama architektúrán alapul, 340 M (0,3 B) paraméterrel működik, és kizárólag 1900 előtti angol szövegeken tanult, így a generált tartalom a viktoriánus korszakra korlátozódik.

Kapcsolódó: LLM-betanítás gyorsítása

Adatgyűjtés és feldolgozás

A tréningadatok több forrásból származnak, köztük a Project Gutenberg, az Oxford Text Archive és a British Library digitális könyvtára; a szerző 5 300 könyvet azonosított biztosan 1900 előtti évszámmal, a többit pedig szigorúan kiszűrte, hogy csak a kívánt időszakra korlátozódjon.

Kapcsolódó: LLM-szolgáltatók API-jai

Költség és elérhetőség

A kisebb verziókat a szerző saját PC-jén (AMD Ryzen 7 9700X, 64 GB RAM, Radeon RX 9070 16 GB VRAM) futtatta, a teljes 340 M modell pedig RunPod, ThunderCompute és Vast.ai felhőszolgáltatásokon készült, a GPU‑költség mindössze 80 USD volt; a modell és a teljes kódbázis a HuggingFace-en és a GitHubon ingyen letölthető.

Kapcsolódó: Saját LLM építése

Korlátok és biztonság

A vintage AI egy hobbi‑projekt, nem tartalmaz semmilyen alignment‑réteget, ezért a generált szöveg gyakran félrevezető, toxikus vagy ma már nem elfogadott tartalmakat tartalmazhat, és a tudáskorlát 1900-ra való szigorú korlátozása sem garantált.

Kapcsolódó: LLM-képzés

A Vintage LLM a HuggingFace-en keresztül elérhető, a verzió 340 M paramétert tartalmaz, és a fejlesztő, croqaz, a projekt költségvetését 80 USD‑ra becsülte, a modell a GitHubon is megtalálható.

Kapcsolódó: LLM tudásbázisok építése