Perplexity AI: Feladatokat oszt szét PC és szerver között a sebességért

A Perplexity új funkciója lehetővé teszi, hogy az AI feladatokat megossza a felhasználók számítógépei és a felhős szerverek között. Ez a hibrid megközelítés a feladatokat légi irányítóként kezeli, valós időben eldöntve, melyik feladat futhat helyben a PC-n, és melyik igényel erősebb felhős szervereket — közölte Aravind Srinivas, a Perplexity vezérigazgatója.

A hibrid megoldás lehetővé teszi a Perplexity Computer számára, hogy a nagyobb számítási kapacitást igénylő feladatokat felhőalapú modellekre, például a Llama 3.3 70B-re irányítsa, miközben a gyakori lekérdezéseket helyben gyorsítótárazza. Ez akár 60%-kal csökkentheti a végpontok felé irányuló késleltetést — írja a 9to5Mac.

Kapcsolódó: AI-ügynökök érkezése

A számítási kapacitások újraszabályozása

A funkció célja a terhelés csökkentése és a felhasználói élmény javítása. A helyi és felhőalapú modellek közötti feladatmegosztás optimalizálja a teljesítményt, miközben a felhasználók továbbra is gyors válaszokat kapnak.

Kapcsolódó: Adattovábbítási botrány

A felhő és a helyi erőforrások harmóniája

A Perplexity Computer a Llama 3.3 70B modellt használja a nagyobb számítási kapacitást igénylő feladatokhoz, 2024. márciusában tervezik a teljes körű integrációt.

Kapcsolódó: Vállalati AI-biztonság