Akár 49%-kal gyorsítja a PayPal AI-ját az EAGLE3 spekulatív dekódolás
Az új módszerrel a vállalat finomhangolt llama3.1-nemotron-nano-8B-v1 modellje 18-33%-kal alacsonyabb késleltetéssel dolgozik, hardverköltés nélkül.
Jelentősen felgyorsítja a PayPal Commerce Agent AI-ját az EAGLE3 spekulatív dekódolás — derül ki egy friss ArXiv tanulmányból.
A kutatás szerint a technika 22-49%-kal növeli az átviteli sebességet, miközben a késleltetést 18-33%-kal csökkenti. Ez a teljesítményjavulás nulla további hardverköltséggel jár, és egyetlen H100 GPU-n is képes felülmúlni a két H100-as NVIDIA NIM teljesítményét.
Hogyan működik a gyorsítás?
A spekulatív dekódolás lényege, hogy egy gyors, vázlatos modell előre több lehetséges következő tokent javasol, amelyeket a teljes célmodell ezután ellenőriz. Ha a vázlat pontos, kevesebb drága számításra van szükség. Az EAGLE3 különlegessége, hogy nem igényel külön betanított vázlatmodellt, hanem a célmodell belső funkcióit használja fel egy könnyű vázlatfejen keresztül — írja a Red Hat Developer.
A PayPal finomhangolt llama3.1-nemotron-nano-8B-v1 modelljén végzett teljesítménytesztek során az EAGLE3-at vLLM-en keresztül tesztelték, 40 különböző konfigurációban, két H100 hardveren. A gamma=3 beállítás mellett az elfogadási arány stabilan 35,5% körül maradt, ami igazolja a módszer hatékonyságát. A gamma=5 beállítás már csökkenő hozamot mutatott, körülbelül 25%-os elfogadási aránnyal.
A LLM-as-Judge értékelés megerősítette, hogy a spekulatív dekódolás teljesen megőrzi a kimeneti minőséget, így a sebességnövekedés nem megy a pontosság rovására. Az eredmények alapján a PayPal Commerce Agent jelentős előnyre tehet szert az EAGLE3 technológiával.