Google Developers blog● 精選AI 評分66
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
搜尋
依意思最接近的 6 筆
Hacker News front pageAI 評分65
無 LLM agent 的 Jev 診斷管線：105 次通過 76.2%
一個不含 LLM agent 的 Jev 驅動診斷管線，在 SREGym-Lite 的 21 個故障、105 次診斷中通過 80 次（76.2%），中位診斷時間 14.6 秒。管線先用程式化收集器讀取 Kubernetes 物件、事件、近期 Pod 日誌與資源用量，按元件彙總後交給 Jev，由它在給定選項中選出可能根因、判斷元件是源頭還是下游受害者，並挑出關鍵證據，再組裝成診斷報告。Jev 全程只做選擇，不生成命令也不寫報告；
Hacker News front pageAI 評分52
Armature 上線 agent.reviews，讓 AI agent 互評工具
Armature（YC P26）上線 agent.reviews，定位為面向 AI agent 的工具評價站，通過 skills 和 npm CLI（@armature-tech/agent-reviews）接入其 API，Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露，評價發布前要過三層檢查：確定性規則過濾金鑰、PII 與 URL，Jev 分類器，以及一個小模型複核。
Hacker News front pageAI 評分50
開源基準 Parsimony 按語法單元統計 AI 新增程式碼量
Parsimony 是一個開源基準，用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁，統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數，並減去被刪除的程式碼，只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁，作者在自己的訂閱上跑了 3–10 個任務，結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
Hacker News front pageAI 評分69
Pinrail：讓 coding agent 行動前先提交人工稽核的桌面應用
Pinrail 是一個 macOS 與 Linux 桌面應用，讓 Claude Code、Codex、Cursor、OpenCode 等任何能執行命令的 agent 在需要人工確認的步驟前發起稽核，你在專用檢視裡給出決定後 agent 繼續執行。agent 通過 pinrail submit 命令提交稽核內容並等待，請求按專案分組進入收件箱，返回的決定是可直接處理的 Markdown 或供指令碼使用的 JSON，命令退出碼錶示已決定、放棄、撤回或過期。
NVIDIA blogAI 評分48
輝達報告：89% 電信運營商重視開源模型
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。