Google Developers blogAI 評分63
Agents CLI 演示評估迴圈：持續測試與評分提升 Agent 品質
Agents CLI 提供一套評估迴圈，通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸，並利用並排 trace 對比評估模型後端替換的效果，同時支援自動執行評估。開發者還能將評估接入每夜定時執行，並設定基於閾值的告警，以便長期跟蹤 Agent 的品質變化；原文以完整範例演示了從測試、評分到告警的評估閉環。
搜尋
找到 2 筆；也可以試試 語意搜尋
Qwen blog● 精選AI 評分77
E-Commerce Bench: Long-Horizon Operations, Multi-Dimensional Evaluation
研究團隊與淘寶天貓合作推出 E-Commerce Bench，讓模型以商家身份在模擬市場中經營網店一整年。智慧體初始資金 10 萬元，可同時開多家店，在每天 600 分鐘的時間預算內完成選品、與供應商砍價、定價上架、管理庫存與現金流等決策。環境基於 6,886 個商品、60 個類目、576 家供應商和 12 種店鋪型別，需求與供應商報價由確定性核心計算，避免隨機噪聲和越獄砍價。評測從利潤、現金流、談判、防欺詐、效率、執行力和長期學習七個維度打分。