A Gemini 3.1 Pro 10-szor gyorsabban teljesít, mint az elődje
Taalas, egy 2,5 éves hardverstartup, egy olyan chipet fejlesztett, amely 17 ezer token/másodperc sebességet ér el.
Google új Gemini 3.1 Pro modellje a teljesítményteszt‑ekben visszaérte a csúcsot, de a sebesség még mindig a felhasználók számára gát. Egy 2,5 éves hardverstartup, a Taalas, egy olyan chipet alkotott, amely a Llama 3.1 súlyait a szilíciumba integrálja, és 17 000 token/másodperc outputsebességet tesz lehetővé.
Ez a 17k token/másodperc a Groq ~600 token/másodpercét és a Cerebras ~2 000 token/másodpercét jelentősen meghaladja. A chip, amelyet a Taalas „silicon llama” néven hív, nem írható, de támogatja a testreszabott kontextusablakokat és a LoRA finomhangolást. A demo során a modell „alacsony minőségű kvantizáció” miatt kevésbé intelligens, de a demonstráció célja a 10-szoros sebesség és a 20-szoros költségcsökkentés bizonyítása.
A Gemini 3.1 Pro erőssége a logikai feladatokban és az SVG‑készítésben rejlik, de a frontend fejlesztők gyakran tapasztalják a lassú futást, ami a gyorsabb hardver megoldások iránti keresletet erősíti. A Taalas tervez egy „reasoning” verziót a chipre, amely a jövőben a frontier LLM-eket is fogja támogatni.
Az OpenAI is lépéseket tesz az AI vállalati bevezetése felé: a Frontier platform segítségével négy vezető tanácsadó cég – BCG, McKinsey, Accenture és Capgemini – együttműködik az AI kolléga létrehozásán. Ez a stratégia azt jelzi, hogy a tanácsadó szektor még mindig a legnagyobb potenciállal rendelkezik az AI integrálására.
A következő hónapokban a Taalas a reasoning model release-jét várjuk, miközben a Gemini 3.1 Pro továbbra is a teljesítménytesztek élén áll. Figyelemmel kell kísérni, hogy a Taalas chipje mennyire tudja megőrizni a sebességet a valós alkalmazásokban, és hogy az OpenAI partnership milyen új AI kollégákat hoz a vállalati környezetbe.