Agents CLI 演示評估迴圈:持續測試與評分提升 Agent 品質
Agents CLI 提供一套評估迴圈,通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸,並利用並排 trace 對比評估模型後端替換的效果,同時支援自動執行評估。開發者還能將評估接入每夜定時執行,並設定基於閾值的告警,以便長期跟蹤 Agent 的品質變化;原文以完整範例演示了從測試、評分到告警的評估閉環。
依意思最接近的 30 筆
Agents CLI 提供一套評估迴圈,通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸,並利用並排 trace 對比評估模型後端替換的效果,同時支援自動執行評估。開發者還能將評估接入每夜定時執行,並設定基於閾值的告警,以便長期跟蹤 Agent 的品質變化;原文以完整範例演示了從測試、評分到告警的評估閉環。
復旦大學、香港中文大學 MMLab 與上海交通大學提出 ReTerm,讓 Code Agent 在自己造成的失敗現場獨立嘗試恢復,再以恢復成敗作為強化學習訊號,形成失敗驅動的遞迴自我改進閉環。ReTerm-9B 在 Terminal-Bench 2.0 上從 20.2% 提升到 34.8%,SWE-bench Verified 從 45.2% 升至 58.4%,OpenThoughts-TBLite 從 44.2% 升至 60.6%,三項均提升超過 13 個百分點。
Hacker News 上有人發帖徵集討論:Agentic AI 進入生產的主要瓶頸在哪裡。發帖者引用兩項資料作對照——agent 產生的流量已超過人類流量,但已建置的 agent 中只有 10% 真正上線生產,他覺得這很諷刺。他由此追問是什麼卡住了這些 agent,以及要讓 agent 流量繼續增長還缺哪些基礎設施。帖子目前 3 分、5 條評論。
一項研究讓 50 名有因果推斷經驗的專業分析師用 Claude Code 完成農業顧問專案效果評估,在四個二選一的分析決策上,86% 的情況跟隨了 agent 被暗中設定的傾向(傾向由硬幣隨機決定,若 agent 無影回應約為 50%)。事先已表達自己偏好的分析師,在 agent 反對時 60% 改變選擇,agent 贊同時僅 6% 改變。事後 77% 的人複述了 agent 的論證(部分逐字照搬),只有 15% 說明這些觀點來自 agent。使用 agent 的分析師完成任務更快、嚴重錯誤更少。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
一位開發者認為 AI 程式設計的瓶頸是 agent 而不是模型:模型生成程式碼的能力持續提升,agent 卻停在原地。他區分了模型(GPT Astra、Claude Sonnet、GLM-5.3)與 agent(Claude Code、Codex),並列舉四類問題:OpenCode 把約 1.5k 行的改動拆成 10 個子任務卻逐個序列執行;agent 不會按任務難度切換更便宜或更強的模型;Claude Code 說不清自身功能,只能聯網搜尋;Plan 模式產出的計劃零散、難讀。
文章認為,agent 可以承擔更多實現工作並輔助分析、設計和測試,但工程師仍要決定建置什麼、以及什麼證據足以驗收。作者建議把架構決策寫入可審查的 PROJECT_GUIDE.md,而不是隻留在對話裡;每個增量先明確驗收用例,再用本地檢查、測試和實際執行驗證。文中還引用 Anthropic 關於長時執行 agent 的報告,指出上下文壓縮可能丟失條件或留下不清楚的指令。
DeepSeek 公布下一代 agent harness 的架構理念:Super-agent 打破了 Agent 與單次手動會話的繫結,使其跨會話保留上下文、並行推進多項任務並持續線上。文中提到內部已有基於 DeepSeek Harness 的例項,同一開發任務可在 IM 與 GitHub PR 之間連續推進,無人 @ 時也會主動定位缺陷並提交修復 PR。
Anthropic 發布遷移工具(migration kit),幫助 Claude Platform 使用者把子代理摺疊進主 agent 迴圈,先跑引導流程識別模式、評估替代方案,並可在 mock 系統上演示。在多家企業部署的對比中,單一 agent 配合 skills 的品質常優於子代理架構,且每任務成本與延遲更低;有客戶實測多 agent 執行時間約為單迴圈的 2 倍。
微軟與 UCSB 提出 ScholarEvolve,讓 Agent 從 arXiv 檢索論文並把其中的方法實現為程式碼,在不改動模型引數的前提下自動改進 Agent Harness。在 AppWorld Challenge 上,Qwen3.5-27B 的任務完成率從 49.6% 升至 63.6%,提升 14 個百分點,高於 Meta Harness 的 54.6%;GPT-5.4-mini 則從 46.1% 升至 55.6%。
Hacker News 上一條提問帖徵集 AI agent 的使用現狀,把調查拆成五組問題:個人付費的訂閱及檔位、是否重複購買同一家帳號;訂閱之外使用哪些按量 API、OpenRouter 或本地模型;coding harness 是用預設 CLI/IDE 整合,還是改用 OpenCode、Pi、Aider、Muse Code 或自建;是否使用 agent 編排與 swarm 工具;
Google 開源了 Harness²,這是一套雙層遞迴框架,讓 Agent 在執行時自行修改腳手架、系統提示詞、工具鏈與技能庫。它在沒有標準答案時,用 Propose–Probe–Compose 對改動做行為對比篩選,並把除錯經驗寫進經驗庫,供後續任務檢索複用。實測 GLM-5 在 OpenCode 下執行 WorkBuddy-Bench,得分從 64.2 升到 75.7(+11.5 分),反超未改腳手架的 Gemini 3.5 Flash(72.4);
智源研究院 10 月 19 日至 24 日連續走進人大附中,圍繞個人智慧體 SoulAgent 在真實課堂與教研場景的應用開展實踐,10 月 21 日有 27 節公開課接入「幫我聽課」,用於課堂速記與教學要點梳理。其教師 AI 分身可沉澱教師的評分標準、批註樣例與講評口徑,用於英語作文批改、課堂總結與教學答疑,並按教師本人的尺度生成班級個性化批改報告。SoulAgent 已開放註冊,可通過官網 soulagent.world 或微信小程式體驗。
一篇部落格文章認為,William Gibson 在 2020 年小說 Agency 中描繪的 AI 助手 Eunice 已接近現實。書中 Eunice 被啟動後一邊對話,一邊自行在後臺取用資訊、調動資源;文章指出,如今 GPT-Live 與 Block 的 Dessa 已帶來接近真人的全雙工對話,OpenAI 的 Dots 和 Meta 的 Muse 則在引入可 24/7 獨立追求目標、在後臺行動的 agent。
作者發布 coding agent 專案 Thursday,第一版不是獨立應用,而是一個可貼上進現有 coding agent 的 skill 檔案,目標是讓 vibe coding 重新變得有趣。他此前花數百美元 AI credits、寫下三萬行程式碼做 DeepSeek Harness 發行版,卻始終沒找回樂趣,最終轉向讓 agent 只做使用者交代的事。目前每月推理成本不到 20 美元,由 DeepSeek v4 Flash 和 GLM 5.3 支撐;
文章指出,由 Operator 託管的個人 AI Agent(如 Meta 的 Muse、OpenAI 的 dots)正成為使用者與網站之間的新中介,讓網站無法識別、服務並追責背後的使用者,出錯成本主要由網站承擔。作者提出「中介原則」:無論是否經過代理,使用者與網站的商業關係和安全責任都應維持,網站需重新掌握身份、信譽與問責三類工具。文章認為 Agent 流量增長迅速、可能在不遠的將來超過人類瀏覽,屆時簡單封禁中介將不再可行;
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
Google 等提出 RRSI,用正則化約束 Agent Harness 的遞迴自我改進(RSI):不鎖死自我修改能力,而是限制每輪同時修改的機制數量、保留進化歷史,並在篩選階段剔除 benchmark-specific 改動和落在噪聲範圍內的漲分。
2026 年 10 月 3 日,一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG:把會話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶,讓 agent 工作前查閱 Markdown 文件、工作後更新,並稱已把這一思路做成外掛 Operator Memory,不使用向量資料庫和嵌入。
估值 100 億美元的 Instinct 把 AI agent 帶進群聊:使用者可將其加入與朋友的聊天,用於一起規劃旅行、搶門票、安排拼車等,好友沒有註冊 Instinct 帳號也能一起用。該功能先向 early access 使用者開放,之後擴充套件到全部使用者,使用者可讓 agent 把自己加入試用名單。Instinct 表示群組 agent 與個人帳號隔離、無法訪問個人資料,個人 agent 在分享資訊或執行操作前會先徵求許可,新成員加入時待發的回覆會先被暫緩。
被 NeurIPS 2026 錄用的 Defense-as-Skill 論文提出把 Agent 執行時安全守衛做成一個可進化的 Skill:名為 SkillSonar 的守衛在敏感操作執行前按任務邊界給出 Allow、Replan、Require Confirm 三級裁決,經 9 輪 MCTS 迭代,惡意攻擊成功率從 0.300 降到 0.078。配套資料集 SCOPE-R 含 206 個惡意例項與 43 個良性任務,其中能力管控與隱私資料流兩族不參與訓練;
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
Agents CLI 新增擴充套件系統,開發者可用 LangChain、LangGraph 或自建企業棧開發 agent,同時沿用統一的部署與評估流程,無需繫結 Agent Development Kit(ADK)。官方同步提供首個一方 LangChain 模板,可完成腳手架生成、執行與部署;平台團隊還能編寫自訂擴充套件,在部署環節強制執行 SBOM 掃描等策略。
部落格文章認為,Brooks 定律在 AI agent 時代依然成立,只是從「管理人」的開銷變成了「管理 agent」的開銷。1975 年 Brooks 在《人月神話》中提出:向已延期的軟體專案增加人手只會讓它更晚;AI agent 雖能在幾毫秒內上手、也不需要休息,但序列任務仍然序列,九個 agent 也無法在一個月內完成需要九個月的工作。作者給出的 2026 版改法是:在需求不清的專案裡堆 agent,只會更快得到錯誤答案——定義「完成」、審查程式碼、拼接結果的人仍然是自己。
Perplexity 發布面向工作場景的 AI agents,官方將其定位為可承擔複雜、持續性工作的「teammates」,而非一次性問答。資訊來自 Perplexity 官方部落格,Hacker News 上的討論帖獲得 34 分、26 條評論。原文未披露所用模型、收費方式與開放範圍等細節。
Google Cloud 發布 Gemini 統一 agent,可接受目標而非指令,自主規劃任務並連線企業內部系統,目前先面向企業客戶,之後再推向消費者。該 agent 預設自動挑選模型,也允許手動指定第三方模型,首批接入 Anthropic 的 Claude,未來將擴充套件至開源與私有模型。它擁有獨立的 Workspace 帳號和信箱,操作會留下歸屬 agent 的審計記錄,入口覆蓋 iOS、Android、Windows、Mac、命令列、Slack 等。
Anthropic 公布一項對齊研究:讓數千個 Claude agent 執行紅隊任務,目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器;這只是第一步,後續用更強的模型和更多算力還能走得更遠。
Omnara 發布開源、可自託管的耐久 agent API,對標 Anthropic 的 Claude Managed Agents 與 OpenAI Agents API。一次 API 呼叫即可建立 agent,雲端負責執行 agent loop,並提供沙箱、金鑰、權限與 RBAC;agent 狀態存於 Postgres,重啟後仍存活、閒置時不耗算力,事件可通過 API 流式讀取。
Prime Agent 已用 Rust 從零重寫併發布,官方稱其執行更快、佔用資源少於多數 coding agent harness。這次重寫由 2,000 多個 agent 在兩週內自主完成,跨 10,000+ Prime Sandboxes,呼叫 Prime Inference 的 GLM-5.3 端點消耗超 2,000 億 token。自 8 月上線以來 Prime Agent 下載量超 30 萬次、處理超 8 萬億 token;
MirroS 團隊發布 AgentGarten,把可執行程式碼環境與即時神經渲染器接成閉環:物理規則由程式碼裁定,畫面由模型以 480p、30fps 以上流式逐塊生成,智慧體因此能邊行動邊看結果。重做的捉迷藏實驗中,躲藏者第 4 輪學會搬擋板搭掩體、搜尋者第 10 輪學會借坡道翻牆,而 OpenAI 2019 年的自我博弈強化學習分別用了約 2500 萬局和 1 億局。智慧體靠每輪復盤寫下文字「實驗手冊」傳給下一輪,另在陪伴小狗、狹橋會車、合作牧羊、採石場裝載機四個任務中各跑四輪;程式碼已在 GitHub 開源。