Az AMD Lemonadeja: gyors, nyílt forráskódú LLM szerver GPU-val és NPU-val
Több mint 2.1 ezer csillagot gyűjtött össze a Lemonade projekt a GitHubon, ahol a fejlesztők és a felhasználók együttműködnek a további fejlesztésen.
Az AMD kiadta a Lemonade‑t, egy 2 MB‑os C++ backend‑tel rendelkező, OpenAI API kompatibilis LLM szervert, amely 1 perc alatt telepíthető Windows, Linux és macOS rendszereken. A projekt 2.1 k csillagot szerzett a GitHubon, és 117 felhasználó van Discordon.
A Lemonade célja a helyi AI gyors, szabad és privát futtatása. A szerver támogatja a GPU‑t és az NPU‑t, így akár 128 GB egységes RAM‑mal is képes betölteni a gpt-oss-120b vagy a Qwen-Coder-Next modelleket, miközben a --no-mmap kapcsolóval akár 64‑nél nagyobb kontextust is kezelhet.
Technikailag a Lemonade több motorral is kompatibilis: llama.cpp, Ryzen AI SW, FastFlowLM és mások. Támogatja a párhuzamos modellek futtatását és egyetlen egységes API‑t kínál a chat, vizuális, képalkotó, transzkripció és beszédfelhasználáshoz.
A projekt integrálva van Open WebUI, n8n, Gaia, Infinity Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor, Iterate.ai és a Marketplace‑ben található több száz alkalmazással, ami azonnali használatra ad lehetőséget.
Jelenleg a legfrissebb kiadás továbbra is fejlesztés alatt áll. A következő frissítésekben várható a cross‑platform beta további stabilizálása és a NPU támogatásának bővítése.