開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
依意思最接近的 30 筆
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
Agents CLI 新增擴充套件系統,開發者可用 LangChain、LangGraph 或自建企業棧開發 agent,同時沿用統一的部署與評估流程,無需繫結 Agent Development Kit(ADK)。官方同步提供首個一方 LangChain 模板,可完成腳手架生成、執行與部署;平台團隊還能編寫自訂擴充套件,在部署環節強制執行 SBOM 掃描等策略。
量子位智庫發布報告《Agent 驅動的企業智慧化:單點提效到規模化重塑》,把企業 AI 落地受阻歸納為任務定義、資料可信度、判斷可驗證性、行動落地、權限責任、價值衡量六大斷點。報告提出 Agent 需具備貫通任務、上下文、判斷、行動、控制與衡量的全鏈路能力,並建議先選一個高價值場景跑通閉環再規模化複製。報告援引案例稱,三花智控的預算分析由 2-3 小時壓縮至 10 分鐘,空格數智新能源 CRM 開發從 60 人天降至 16 人天,上海企通 BIMS 約 2.5 倍提效、功能首次可用率 78.63%。
一位開發者認為 AI 程式設計的瓶頸是 agent 而不是模型:模型生成程式碼的能力持續提升,agent 卻停在原地。他區分了模型(GPT Astra、Claude Sonnet、GLM-5.3)與 agent(Claude Code、Codex),並列舉四類問題:OpenCode 把約 1.5k 行的改動拆成 10 個子任務卻逐個序列執行;agent 不會按任務難度切換更便宜或更強的模型;Claude Code 說不清自身功能,只能聯網搜尋;Plan 模式產出的計劃零散、難讀。
Cresta 在 Claude Agent SDK 之上建置了 Conductor,一個自然語言 agent 建置器,幫助團隊把複雜業務上下文轉成可上線的客服 agent。其早期版本用 Claude Sonnet 和 Opus 搭建,之後把 Claude Agent SDK 當作通用 harness,讓 agent 自行收集上下文、呼叫工具、編寫並執行程式碼。據 Cresta 披露,在其與合作伙伴的早期用例中,Conductor 把初始部署時間縮短約一半;
Google 開源了 Harness²,這是一套雙層遞迴框架,讓 Agent 在執行時自行修改腳手架、系統提示詞、工具鏈與技能庫。它在沒有標準答案時,用 Propose–Probe–Compose 對改動做行為對比篩選,並把除錯經驗寫進經驗庫,供後續任務檢索複用。實測 GLM-5 在 OpenCode 下執行 WorkBuddy-Bench,得分從 64.2 升到 75.7(+11.5 分),反超未改腳手架的 Gemini 3.5 Flash(72.4);
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
Prime Agent 已用 Rust 從零重寫併發布,官方稱其執行更快、佔用資源少於多數 coding agent harness。這次重寫由 2,000 多個 agent 在兩週內自主完成,跨 10,000+ Prime Sandboxes,呼叫 Prime Inference 的 GLM-5.3 端點消耗超 2,000 億 token。自 8 月上線以來 Prime Agent 下載量超 30 萬次、處理超 8 萬億 token;
OpenAI 開發者官方帳號發布推文,以「Building with the Agents API?」為題,提示開發者關注 Agents API 的最新動態。推文正文僅有一句「Catch up on what's new:」,未披露具體更新內容、發布時間或功能細節,後續資訊需以官方發布為準。
開源 Agent Development Kit(ADK)搭配 gemini-3.8-live,可以建置在後端長時間查詢時仍保持回應的語音 agent。指南給出兩種 Python 寫法:一是用 streaming tools 持續產出進度更新,二是用後臺執行模式,讓對話在耗時任務進行中保持流暢。開發者還可配置 WHEN_IDLE、INTERRUPT、SILENT 三種回應排程行為,精確控制工具結果何時、以何種方式送回對話。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
亞馬遜 CTO Werner Vogels 在深圳交流時表示,企業不該因怕錯過 AI 而倉促決策,Agent 則必須提前劃清授權邊界:亞馬遜為 Agent 設計了規則執行機制,會檢查其訪問工具、執行指令碼等操作,例如可規定每天花費不超過 100 美元,超出就需人參與決策。他還提出驗證債的概念——AI 生成卻未被理解的程式碼,會把省下的時間在後續排查返工中重新花掉。此外他認為不必追基準榜第一,有客戶發現 DeepSeek、通義千問、Kimi 等更小模型已夠用且成本更低。
Linear 官方部落格發布文章《Someone Behind the Software》,主張好產品會帶著創造者的經驗、關注點與判斷,而當下不少產品正退化成功能的堆砌。文章認為根源在於新增新能力遠比重新思考既有能力容易,當每個人各自帶著 agent 獨立產出改動,合在一起就更像弗蘭肯斯坦的怪物,而非被精心雕琢的雕塑。作者希望做軟體變簡單後省下的空間,能被用來形成並堅持一套產品觀點,而不是讓產品變成所有輸出的平均值。
Anthropic 日本團隊的一位 BDR 把日常銷售流程交給一組 Claude 智慧體,並從自製原型遷移到 Claude Platform 的託管智慧體基礎設施 Claude Managed Agents(beta),此後無需自行維護基礎設施。他把工作拆成 5 個單一職責的智慧體,分別做線索分派、篩選與首封郵件、收件箱回信、Salesforce 商機更新和會後跟進,另設一個協調者,每約 15 分鐘讀取 Slack 頻道中的變更請求並更新指令,且只有他本人能提交。
Google Cloud 發布 Gemini 統一 agent,可接受目標而非指令,自主規劃任務並連線企業內部系統,目前先面向企業客戶,之後再推向消費者。該 agent 預設自動挑選模型,也允許手動指定第三方模型,首批接入 Anthropic 的 Claude,未來將擴充套件至開源與私有模型。它擁有獨立的 Workspace 帳號和信箱,操作會留下歸屬 agent 的審計記錄,入口覆蓋 iOS、Android、Windows、Mac、命令列、Slack 等。
Docker 發布 docker-agent,一個 Docker CLI 外掛,可用宣告式 YAML 配置建置、執行和分享 AI 智慧體,無需寫程式碼。它支援多智慧體協作、內建工具與任意 MCP server,模型側相容 OpenAI、Anthropic、Gemini、AWS Bedrock、Mistral、xAI 與 Docker Model Runner,並自帶 think、todo、memory 工具和基於 BM25、嵌入與重排序的 RAG。
Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。
Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。
Agent37 推出低成本 agent 沙箱服務,客戶平均每沙箱每月花費 0.37 美元,並已開放免費套餐,目前 90% 以上新註冊使用者為免費使用者,其免費沙箱基礎設施成本約每使用者每月 0.05 至 0.10 美元。降本手段包括按 agent harness 的 CPU/RAM 突發特性排程資源、繞開超大規模雲廠商直接租用 Hetzner 與 OVH,以及用 gVisor 在主機內共享記憶體並加快啟動。
Veda 是一個把 AI agent 做進系統層的作業系統,從 UEFI 引導、微核心、驅動到視窗系統與應用全部用 Rust 從零編寫,目前支援 x86-64 PC 與 QEMU。agent 作為系統服務隨開機啟動,可用語音、點選工作列圓環或 Super+Space 喚醒,通過 agentapp 協議原生呼叫應用提供的 70 多個動作,不需要讀屏或模擬點選。
媒體團隊 The Every 把儘可能多的工作交給 agent 處理。為了讓全團隊在新模型發布時共享技能,他們基於 Claude Managed Agents 搭建了一個公司 agent,所有人都在 Slack 裡使用它。該 agent 在內部走紅後,團隊又把它開放給了自己的訂閱者。
Anthropic 在 AI Engineer New York 2026 上介紹了上週五發布的 dynamic workflows(簡稱 flows),由 Claude 自行編排整套多智慧體拓撲。此前 Claude Managed Agents 需開發者配置協調者與子代理名冊,現在 lead agent 自己制定計劃並編寫編排程式,負責啟動代理、收集結果與管理資訊流,功能在面向 API 開發者的 Claude Console 提供,也支援傳入預配置子代理。
Aether AI 發布因果驅動的機器人智慧系統 CRIS-0,演示中面對人類突然移走咖啡袋、燈光干擾、往盤裡放飲料罐、關門時伸手等干擾均能即時調整,反應速度達 0.1s 級。它把機器人智慧分成兩層:因果驅動機器人 Agent 負責任務拆解、階段驗證與失敗恢復,因果世界模型預測動作帶來的物理變化。相比端到端模型,它在抗干擾、模糊指令和長程任務上更穩;團隊稱該路線還可延伸到生物製藥、新材料研發,更底層的 Causation Transformer 仍在驗證。
OpenAI 表示,歐洲企業正在迅速擴大 AI agent 的使用。在其歐盟企業及商業客戶中,超過一半的 AI 使用已涉及這類工具,小企業使用者數量在整個地區增長了 8 倍。其最新經濟研究報告探討歐洲向 agentic AI 的轉變,以及把更廣泛採用轉化為更深入使用的機會。
蘋果 Xcode 26.3 已整合 Claude Agent SDK,開發者可在 Apple 平台用 Claude 執行自主、長時間執行的編碼任務。Anthropic 同期還宣布三年投入 1.5 億美元參與美國 Genesis Mission,與 Accenture 預計五年內投入至少 10 億美元建設前沿 AI 獨立評估能力,並與 Gates Foundation 達成 2 億美元合作。
蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
Claude Managed Agents 的代理現在可以使用動態工作流,該能力處於 beta,需帶 managed-agents-2026-04-01 beta header。工作流是一段程式,分階段執行多個代理併合並結果,由伺服器在後臺以 workflow run 形式執行,適合審閱數百份文件這類包含大量片段的任務。