開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
給出可直接照做的 agent 評估流程：用 CUJ 拆評估點、模擬使用者造資料、四層檢查，並點名隱性失敗與兩個會讓基線失真的常見陷阱，適合正在把 agent 推向生產的團隊。
原標題：Evaluating AI agents: moving past the vibe check
閱讀原文
| 評分 | 68 / 65（平均 66，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Armature 上線 agent.reviews，讓 AI agent 互評工具
Armature（YC P26）上線 agent.reviews，定位為面向 AI agent 的工具評價站，通過 skills 和 npm CLI（@armature-tech/agent-reviews）接入其 API，Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露，評價發布前要過三層檢查：確定性規則過濾金鑰、PII 與 URL，Jev 分類器，以及一個小模型複核。
微軟與 Hugging Face 發布 ThinkingBox，按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準，通過 Hugging Face 提供，不看 agent 的回覆文字和工具呼叫，只檢查它留在後端資料庫裡的最終狀態與副作用，每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中，79,853 次未通過可執行檢查，其中 67.24% 仍乾淨收尾且無工具報錯。
Google Cloud 開源 AQuA，為生產環境 agent 做品質診斷
Google Cloud 開源參考實現 AQuA（Ambient Quality Agent），用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行，掃描失敗聚類並對照對話記錄逐條驗證，再把根因定位到當時實際部署的原始碼快照。它針對的場景是：agent 做到 80% 之後難以繼續改進，且靜默的品質回退仍然返回 HTTP 200 OK。
學者提出 Ephemeral Testing：用 AI 臨時搭建上層應用檢驗程式碼
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing（臨時測試）：不直接評估自己寫的程式碼，而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試，用完即棄，再根據失敗情況反推底層程式碼品質。它屬於整合測試，區別在於上層軟體完全是一次性的；API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西，隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗，這些失敗是底層程式碼的證據而非 agent 的問題。
CodeActionBench 發布：GPT-6 Astra 機器人操作成功率 73.3%
南洋理工大學研究者與合作者發布 CodeActionBench，用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首，75 次嘗試完成 55 次、22 個任務至少成功一次；Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%，Gemini 3.6 Flash 為 20.0%。