Agents CLI 演示評估迴圈：持續測試與評分提升 Agent 品質
Agents CLI 提供一套評估迴圈，通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸，並利用並排 trace 對比評估模型後端替換的效果，同時支援自動執行評估。開發者還能將評估接入每夜定時執行，並設定基於閾值的告警，以便長期跟蹤 Agent 的品質變化；原文以完整範例演示了從測試、評分到告警的評估閉環。
它把提示詞迴歸檢測、模型後端並排 trace 對比與夜間閾值告警串成可自動化的評估閉環，對用 Agents CLI 調優 Agent 的開發者最有參考價值。
原標題：Hill-Climbing Agent Quality with Agents CLI Evaluation
閱讀原文
| 評分 | 65 / 62（平均 63，門檻 65） |
|---|---|
| 狀態 | 未入選 |
相關報導
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
Agents CLI 推出擴充套件系統，支援 LangChain 等任意框架
Agents CLI 新增擴充套件系統，開發者可用 LangChain、LangGraph 或自建企業棧開發 agent，同時沿用統一的部署與評估流程，無需繫結 Agent Development Kit（ADK）。官方同步提供首個一方 LangChain 模板，可完成腳手架生成、執行與部署；平台團隊還能編寫自訂擴充套件，在部署環節強制執行 SBOM 掃描等策略。
Armature 上線 agent.reviews，讓 AI agent 互評工具
Armature（YC P26）上線 agent.reviews，定位為面向 AI agent 的工具評價站，通過 skills 和 npm CLI（@armature-tech/agent-reviews）接入其 API，Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露，評價發布前要過三層檢查：確定性規則過濾金鑰、PII 與 URL，Jev 分類器，以及一個小模型複核。
Building agents: When to fold subagents into your main agent loop
Anthropic 發布遷移工具（migration kit），幫助 Claude Platform 使用者把子代理摺疊進主 agent 迴圈，先跑引導流程識別模式、評估替代方案，並可在 mock 系統上演示。在多家企業部署的對比中，單一 agent 配合 skills 的品質常優於子代理架構，且每任務成本與延遲更低；有客戶實測多 agent 執行時間約為單迴圈的 2 倍。
agent-usage-guard：攔截 Claude Code 子 agent 爆發消耗額度
agent-usage-guard 是一個 Claude Code 外掛，在花費發生前攔住失控的 agent 爆發：五小時或每週額度用到 80% 時新開 agent 需人工批准，到 95% 直接拒絕。預設還限制本機所有會話合計同時執行 4 個 agent、每 10 分鐘啟動 12 個、子 agent 每 10 分鐘處理 10M token，且子 agent 不得再開子 agent。在無人應答的 claude -p 與 Agent SDK 場景下改為直接拒絕並說明原因。