Új promptoptimalizáló eszközt kap az Amazon Bedrock — akár 5 modell összehasonlításával
Az új eszköz lehetővé teszi a fejlesztők számára, hogy a promptokat a Bedrock bármely modelljéhez optimalizálják, miközben az eredeti és optimalizált verziókat akár öt modellen is párhuzamosan tesztelhetik.
Fejlett promptoptimalizáló és migrációs eszközt vezetett be az Amazon Bedrock — írja az AWS Blog. A Amazon Bedrock Advanced Prompt Optimization nevű újdonság célja, hogy segítse a felhasználókat az utasítások finomhangolásában és a modellek közötti zökkenőmentes átállásban, miközben garantálja a teljesítmény javulását.
Az új promptoptimalizáló a prompt sablonokat, példa felhasználói bemeneteket, valós válaszokat és egy értékelési metrikát használ útmutatóként. A rendszer multimodális bemeneteket is támogat, így PNG, JPG és PDF fájlok is felhasználhatók a prompt sablonokban, ami megkönnyíti a dokumentum- és képelemzési feladatok optimalizálását. Az optimalizálást AWS Lambda funkcióval, LLM-alapú értékelővel vagy egyszerű természetes nyelvi leírással is lehet irányítani.
A modellökölés művészete
Az eszköz metrikaalapú visszacsatolási hurkot alkalmaz az utasítások és a modellválaszok optimalizálására. A folyamat végén az eredeti és a végleges prompt sablonokat, értékelési pontszámokat, költségbecsléseket és késleltetési adatokat is megkapják a felhasználók. Az optimalizálás során a Bedrock automatikusan elküldi a prompt sablonokat és a példaadatokat a kiválasztott inferencia modelleknek, értékeli a válaszokat a megadott metrika alapján, majd az utasítást újraírja a teljesítmény javítása érdekében.
Értékelési szempontok labirintusa
A prompt minőségét háromféleképpen lehet értékelni: egyéni Python logikát tartalmazó Lambda funkcióval, testreszabott értékelési szempontrendszerrel működő LLM-alapú bíróval, vagy természetes nyelvi irányelvekkel. Az Amazon Bedrock Advanced Prompt Optimization már elérhető az AWS US East (N. Virginia, Ohio), US West (Oregon), Asia Pacific (Mumbai, Seoul, Singapore, Sydney, Tokyo), Canada (Central), Europe (Frankfurt, Ireland, London, Zurich) és South America (São Paulo) régióiban, 2024. március 15-től.