開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
依意思最接近的 30 筆
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。
Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1,首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂,零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首,GPT-6.1 Sol 64.6 分,Gemini 4 Argon 55.3 分,Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。
OpenAI 開發者帳號公布 Decisions API 的六類典型用法:把請求路由到合適的模型、工具或智慧體;把規模化輸入轉成標籤、排名和評分;分析影像、比較視覺內容或定位影片關鍵幀;依據截圖選擇按鈕、填寫表單或判斷操作;標記有風險的工具呼叫或需深入審查的問題;以及對大規模資料集分類以發現趨勢和模式。推文未給出定價、可用範圍或上線時間等資訊。
軟體基礎設施部落格 The Consensus 上線自研「AI tells」檢測器,用靜態規則比對 2023 年前後的寫作差異,處於第 99 百分位的文章將失去首頁 At a Glance 板塊、社交媒體和每週 newsletter 的推薦資格。該檢測器不判斷文章是否由 AI 撰寫,只提示讀起來像 AI 寫作,作者稱它偶爾也會誤判自己的文章。讀者仍可在 feed 搜尋中用 aitells<90 過濾,作者也承認規則可被繞過,但認為這反而會促使各家寫出自己的風格。
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
小紅書與復旦大學等機構提出的 DR-Rubric 已被 NeurIPS 2026 接收,論文與程式碼公開。該方法先讓模型圍繞任務做多輪檢索收集證據,再把證據轉成原子化、可逐條檢查的評分細則,作為 GRPO 的獎勵訊號,已在小紅書業務中實際使用。六個基準上每輪僅用 1000 條 RL 資料即取得有競爭力的表現,其中 GPT-5 生成的細則在 ResearchQA 達 73.7、DeepResearchBench 達 43.0;
Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics,用 40 個任務、9 類物理現象測試 8 個影片生成模型,Seedance 2.5 以 57.76 分居首,MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成,物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算,且只有 C≥80 才計入總分。
新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;
a16z 合夥人 Olivia Moore 發布消費者 AI 百強應用報告:ChatGPT 仍遙遙領先,Suno、ElevenLabs 等中小產品展現出持久力。報告發現社交、約會、電商、旅遊、金融、健康等類別在百強榜上完全沒有產品入選,美國也僅 2.2% 的家庭為 AI 付費。
Meta 將於 10 月 30 日更新商業服務條款,要求所有商業帳號允許 Meta 用其關聯網站內容訓練 AI,且不提供退出選項,只建議不同意的商家停用 Meta 服務。新條款覆蓋範圍不止社交媒體帖子,還包括商家關聯網站上的內容,對新聞出版商衝擊最大——它們本可就 Meta 持續抓取文章用於 AI 訓練收取數百萬美元授權費。目前新聞機構正與 OpenAI 就未授權訓練是否屬於合理使用對簿公堂,而 Meta 的條款無論判決如何都先取得了寬泛許可。
卡內基梅隆大學與微軟聯合推出 PRAISE 證書專案,讓微軟初級軟體工程師線上修讀 CMU 計算機學院的課程,同時由公司資深工程師帶教,學習把 AI 工具用於日常開發。本學期開設 Machine Learning in Production 與 AI 增強軟體工程預修課 I,春季增加 DevOps 安全開發與部署及該課程第二學期,學分可計入軟體工程碩士。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
HackerRank 聯合創始人兼 CEO Vivek 公開為「讓人刷 LeetCode」道歉,並宣布推出 AI 面試官 Chakra。HackerRank 將把面試題從演算法題換成真實程式碼倉庫中的任務,評估標準從程式碼是否正確轉向 AI 使用能力與判斷力,候選人環境也從 IDE 改為 agentic 開發環境。候選人可像在真實工作中那樣使用 AI 工具解題,Chakra 隨後追問為何選擇該方案、會改什麼、如何驗證 AI 生成的程式碼。
微軟推出決策評分模型 Microsoft-Decision-1,已在 Microsoft Foundry 上線,並將登陸 OpenRouter。該模型基於 Qwen3.5-9B 後訓練,用於路由、分類、優先順序排序、驗證與工作流控制,支援是/否、多選、評分及對 AI 回答和 agent 動作的 rubric 打分。官方稱其在 36 項基準、近 15 萬道題中準確率最高,P50 延遲比 GPT-6 Sol 快約 35 倍、比第二名 Quyet-1.0-Large 快 4.5 倍;
微軟聯合 Hugging Face 推出 ThinkingBox 基準,通過 Hugging Face 提供,不看 agent 的回覆文字和工具呼叫,只檢查它留在後端資料庫裡的最終狀態與副作用,每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨收尾且無工具報錯。
Mistral AI 官方帳號宣布,Mistral Large 4 在 Harvey 的 Legal Agent Benchmark(LAB)中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名,LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。
BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。
Artificial Analysis 的 Video Arena 文生影片排行榜上,影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一,這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練,在評測的 10 項細分能力中 7 項超越基座模型,音訊同步與物理規律排名第一,光照與材質、鏡頭控制排名第二。
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta,週一起正式向企業客戶開放,測試期間已完成逾 50 萬場面試,Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務,Chakra 會依據其操作追問思路,評估批判性思維、判斷力與「AI fluency」,即如何向 AI 描述問題、判斷其輸出並引匯出解法。
OpenRSI Index 正式發布,這是一個用真實開源研究專案出題、檢驗科研智慧體能否改進人類訓練方案的評測基準。任務取自 Marin、Qwen、GPIC 等專案,覆蓋預訓練、後訓練與影像生成,單次執行算力從 5,815 到 20,864 H100·小時。智慧體在工作區反覆實驗,提交後凍結快照交由獨立評測環境驗收,原作者方案在同一環境重跑作為對照,篡改獎勵、洩露評測資訊或超預算計零分。
Kombai 發布 Design Creativity Bench,用 80 個開放式 UI 設計任務評測 16 個前沿模型的設計創造力,最強模型 OpenAI GPT-6 Astra 僅得 65.5 分,人類設計師參考為 92.3 分。榜單其後是 GPT-6.1 Sol 63.7、Grok 4.7 62.2、Gemini 3.8 Flash 60.6。
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現,AI 採用度高的組織每位開發者 bug 增加 54%,PR 評審中位耗時約漲 5 倍,每 PR 事故數超 3 倍;其 Q3 報告稱部分效應有所緩解,但驗證與運維成本仍在累積。
微軟總裁 Brad Smith 在 BBC 播客上呼籲儘快制定全球 AI 安全規則,並稱英國比美國和歐盟更適合主導這件事。他希望落地的規則包括:系統被失控 AI agent 攻破須依法通報、AI 產品發布前需經外部評估者批准,以及可暫停或減速的 kill switch。他批評上月白宮與 OpenAI、Anthropic、Nvidia 等簽署的自願性檔案只能約束負責任的公司。
加州民主黨參議員 Adam Schiff 在 Decoder 播客中稱,白宮讓多家 AI 公司簽署的自願安全承諾遠遠不夠,他支援設立新的專門機構來監管 AI。他提到,這些公司私下都公開呼籲監管,只是在總統面前不願得罪人;最高法院推翻 Chevron 先例後,法院取代機構專家解釋模糊法律,新規很容易立刻陷入訴訟。
OpenAI 本週發布 719 份針對高難度數學問題的解答,但未完全滿足普林斯頓高等研究院 AGMAI 上月發布的指南。AGMAI 的首要建議是停止在專有模型上測試高深數學問題,而 OpenAI 明確稱正用開放研究問題評估其專有模型;719 篇手稿中僅 10 篇公開了模型的思維鏈,42% 的證明未做形式化。
越來越多 AI 助手不再需要單獨下載 App,直接用 iMessage、RCS 或簡訊就能對話並代辦任務。其中 Instinct 於 2026 年 9 月完成 10 億美元融資、估值達 100 億美元,並開始給使用者分配助手專屬信箱地址、上線代打電話功能,目前仍處私測。其餘選項裡,Folk 免費、Pro 訂閱 8.33 美元/月,Comma 開源且免費起步,Fambot 主打家庭日程並每晚推送次日摘要,Martin 訂閱 21 美元/月起。
OpenAI 在 Codex/Work 連續 28 天更新計劃的第二天一次性放出四項更新:Auto-review(即 Approve for me)對所有用 ChatGPT 帳號登入的使用者免費,不再消耗套餐額度;API 付費等級從五檔簡化為 Build、Launch、Grow 三檔,累計付費門檻分別為 5、100、500 美元,最高檔由 1000 美元減半至 500 美元並自動升級;