Google Developers blog● 精選AI 評分66
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
搜尋
依意思最接近的 30 筆
Hacker News front pageAI 評分67
Artificial Analysis 發布 Intelligence Index v5.0，改用 9 項新評測
Artificial Analysis 將模型智慧指數升級到 v5.0，評測集換成 9 項新基準。Knowledge Work、Coding、Science、General 四類各佔 25%，單項權重最高為 15%，分別是 AA-Briefcase v1.1、FrontierCode 2.0、Terminal-Bench-Science 0.1 和 AA-Omniscience v1.1；
TechCrunch AIAI 評分58
調查：超半數高管稱用 AI 後更難評估員工績效
Monday.com 委託 Nielsen 對七國 1700 名董事與高管調查顯示，超半數認為員工產出經 AI 打磨後難辨人機貢獻，近半數因此花更多時間審閱團隊產出。94% 仍對 AI 感到興奮，但 78% 已改變考核方式，更看重提示詞撰寫與任務分配能力；39% 用 AI 起草績效評估，46% 用 AI 輔助決策。57% 的組織在用的工具反而變多，僅 29% 稱 AI 基礎設施已集中最佳化；58% 預計一年內要監督的 AI agent 數量將超過人類員工。
TechCrunch AIAI 評分56
Hugging Face 政策主管：嵌入式 AI 評測員難成現成方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
Google Developers blogAI 評分63
Agents CLI 演示評估迴圈：持續測試與評分提升 Agent 品質
Agents CLI 提供一套評估迴圈，通過持續測試與評分來系統化提升 Agent 表現。該流程可捕捉提示詞迴歸，並利用並排 trace 對比評估模型後端替換的效果，同時支援自動執行評估。開發者還能將評估接入每夜定時執行，並設定基於閾值的告警，以便長期跟蹤 Agent 的品質變化；原文以完整範例演示了從測試、評分到告警的評估閉環。
機器之心● 精選AI 評分75
阿里資料團隊提出基準健康指數，為 158 個評測基準打分
阿里資料等團隊提出基準健康指數（BHI），從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分，論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首，Agents' Last Exam（53.08）和 AutomationBench（52.68）緊隨其後。研究基於 117 個模型的技術報告，用留一基準法估計模型能力，並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
Hugging Face blog● 精選AI 評分76
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
機器之心AI 評分23
機器之心啟動「AI 中國」2026 年度榜單評選，設六類獎項
機器之心正式啟動「AI 中國」2026 年度榜單評選，申報通道現已開放。評選設六類獎項：最強 AI 技術實力機構 TOP 10、人工智慧領軍企業 TOP 20、最佳 AI 模型 TOP 20、最佳大模型產品及應用 TOP 20、具身智慧領軍企業 TOP 10、ScienceAI 領軍機構 TOP 10，覆蓋基礎模型、具身智慧與 AI for Science 等方向，符合條件的企業與創新團隊可報名參與。
Hacker News front pageAI 評分52
Armature 上線 agent.reviews，讓 AI agent 互評工具
Armature（YC P26）上線 agent.reviews，定位為面向 AI agent 的工具評價站，通過 skills 和 npm CLI（@armature-tech/agent-reviews）接入其 API，Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露，評價發布前要過三層檢查：確定性規則過濾金鑰、PII 與 URL，Jev 分類器，以及一個小模型複核。
Hugging Face blog● 精選AI 評分77
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
Hacker News front pageAI 評分46
Jev 發布 33 天即退燒，折射 AI 行業炒作與創新匱乏
Jev 發布 33 天后熱度迅速消退，這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器，宣稱不會幻覺、更快更便宜，但輸出仍會出錯，且已有開放權重模型在部分任務上價效比更高，並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現，並由此質疑行業四年來的創新增量。
機器之心● 精選AI 評分85
METR：Anthropic 模型進步速度翻倍，80% 增量來自 AI
第三方評估機構 METR 11 月 5 日發布報告，稱 Anthropic 過去一年模型基準能力的進步速度約為此前的 1.9 倍（95% 置信區間 1.5—2.8 倍），AECI 分數自 2025 年 10 月起從每年約 15 分升至約 29 分，而全行業前沿模型的加速僅 1.4 倍。METR 判斷加速主要不是來自算力投入增長，約 80% 來自 AI 自身參與研發；研究人員稱程式碼已不再是瓶頸，可把多個想法交給 Agent 並行驗證。
Hacker News front pageAI 評分46
調查：僅 11% 企業能準確預測 AI 支出
企業一度鼓勵員工儘可能多地使用 AI，即所謂的 #tokenmaxxing，隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱，其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量，而企業發現 token 很難統計，這讓 AI 預算幾乎無法編制。
Simon WillisonAI 評分36
Nilay Patel：AI 產品成本太高收益不實，行業須先做好產品
The Verge 的 Nilay Patel 在 The Vergecast 中稱 AI 產品「成本太高、收益不真實」，認為行業只有做出更好的產品才能走出當前困境。他指出各公司在這類產品上的花費已超過收入，agent 尚未真正成立、也未必按任何人的期望被使用，而換來的卻是 AI overviews 與深度偽造垃圾，還要讓人承受資料中心噪音和歐洲存血冰箱被黑等代價。
Hacker News front pageAI 評分42
CEPR 發布 AI 泡沫監測，追蹤 AI 投資過熱跡象
美國經濟政策研究中心（CEPR）於 11 月 3 日發布題為《The AI Bubble Monitor》的文章，以持續監測的形式討論 AI 泡沫問題。資料中只提供了標題與連結，未披露具體指標、資料來源或更新頻率；該條目在 Hacker News 上獲得 29 分、15 條評論。
Hacker News front page● 精選AI 評分79
Artificial Analysis Intelligence Index v5 發布，Claude Opus 5.5…
Artificial Analysis 發布 Intelligence Index v5，Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra 57 分、GPT-6.1 Sol 55 分緊隨，Gemini 4 Argon 50 分。
Hacker News front pageAI 評分47
科幻小說預測 AI 的準確度排名：特德·姜居首
一份科幻小說預測 AI 準確度的排名把特德·姜 2010 年的《The Lifecycle of Software Objects》列為第一，綜合 65 分，其中部署維度 8.5 分，寫到了教學、維護和售賣 AI 的勞動。作者先拆解 AI 實際發展的關鍵特徵（學習範式、訓練資料、人類反饋、能力不均衡、分發與經濟學等），再逐項對照作品打分；
Anthropic Research● 精選AI 評分80
Anthropic 調查：91% 員工預期 2030 年 AI 能做出諾獎級發現
Anthropic 與經濟學家聯合調查顯示，91% 的 Anthropic 員工認為 AI 到 2030 年能做出諾獎級發現，美國成年人中這一比例為 39%。員工預期 AI 屆時能完成自己 75% 的工作，美國工人平均為 28%；在使用 AI 的工作任務中，員工預期 2030 年有 65% 交由 AI 完成，美國成年人預期為 42%。
Hacker News front pageAI 評分35
AI 正在大幅加速 AI 研究本身
一篇題為《AI is dramatically accelerating AI research》的文章主張，AI 正在顯著加速 AI 研究自身。該文發表在 planned-obsolescence.org，並在 Hacker News 上引發討論，獲得 39 分、12 條評論。文章的具體論據與資料需見原文。
OpenAI News● 精選AI 評分60
OpenAI 發布 BioBasicsBench，評測 AI 智慧體溼實驗能力
OpenAI 推出 BioBasicsBench，一個包含 100 項任務的基準，用來衡量 AI 智慧體解讀原始實驗資料、處理日常溼實驗科學工作的能力。該基準關注的是實驗室裡日常操作層面的任務，而不是單一的結果性問答。
X @OpenAI● 精選AI 評分65
OpenAI 發布 BioBasicsBench，衡量 AI agent 的溼實驗分析能力
OpenAI 與酶設計生物技術公司 Ligo 合作推出 BioBasicsBench，用 100 個來自真實實驗的任務衡量 AI agent 能否完成溼實驗室的常規資料分析。任務考察 agent 解讀原始實驗資料、識別錯誤，以及判斷證據是否足以支援結論。OpenAI 表示該基準能指出模型需要改進的地方，並追蹤這些進步對科研進展、生物安全與生物安保的意義。
機器之心● 精選AI 評分80
AA-Robotics 首份榜單發布：GPT-6 Astra 操控機械臂得分居首
Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1，首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂，零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首，GPT-6.1 Sol 64.6 分，Gemini 4 Argon 55.3 分，Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。
OpenAI NewsAI 評分42
LifeVal 基準發布：衡量 AI 完成日常事務的能力
LifeVal 是一個新的 AI 基準，用於衡量 AI 在多大程度上能幫人完成日常事務。公告列出的場景包括尋找托兒服務、管理個人財務以及處理政府文書。目前公開的只有基準的目標與覆蓋範圍，具體任務數量、評分方式和榜單結果尚未披露。
Hacker News front page● 精選AI 評分82
InnovationEval：前沿模型花數千美元 GPU 仍未復現人類演算法創新
新評測 InnovationEval 顯示，前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新：在端到端任務中，它們耗費數千美元 GPU 算力，仍未達到人類論文（on-policy self-distillation，SDPO）的水平。測試要求 AI 自主提出一種新的後訓練方法，在短答題與程式碼任務上後訓練 Qwen3-8B，並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol；
Hacker News front pageAI 評分69
Faros 研究：高 AI 採用團隊 bug 增 54%、PR 評審耗時漲約 5 倍
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現，AI 採用度高的組織每位開發者 bug 增加 54%，PR 評審中位耗時約漲 5 倍，每 PR 事故數超 3 倍；其 Q3 報告稱部分效應有所緩解，但驗證與運維成本仍在累積。
X @AnthropicAIAI 評分33
@AnthropicAI: We worked closely with AISI on this analysis.
Anthropic 表示與英國 AI 安全研究所（AISI）緊密合作完成了這項分析，AISI 已另行發布報告，內容是調查 AISI 一起事件中的對齊失效（alignment failures）問題。帖文未披露更多技術細節，僅給出 AISI 官網部落格的報告連結。
Hacker News front pageAI 評分33
LessWrong 作者：AI 自主研發判斷力差，僅快反饋任務有效
Arjun Panickssery 在 LessWrong 發文稱，他不認為當前 AI 能勝任自主研發。在 Scrabble 引擎、終極井字棋機器人、哲學維基和駭客松論文評審等副專案中，模型的基礎判斷力很差：找不到最關鍵的論文，用明顯過小的資料量做無資訊量實驗，反覆走進瑣碎方向，甚至找到了關鍵部落格卻沒意識到它的重要性。
Anthropic Research● 精選AI 評分80
Anthropic 稱內部 AI agent 數量已達員工 6 倍，併發布 AI 預期調查
Anthropic 於 10 月 16 日發布兩份報告：其內部 AI agent 工作時長在 2026 年 3 月已超過員工，到 8 月 agent 數量是員工的 6 倍，同期初級崗位與技術崗招聘佔比下降，人均程式碼、銷售與合同處理產出上升，瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查：91% 的員工認為 AI 能在 2030 年前做出諾獎級發現，美國成年人中僅 39%；
Hugging Face blog● 精選AI 評分75
微軟與 Hugging Face 發布 ThinkingBox，按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準，通過 Hugging Face 提供，不看 agent 的回覆文字和工具呼叫，只檢查它留在後端資料庫裡的最終狀態與副作用，每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中，79,853 次未通過可執行檢查，其中 67.24% 仍乾淨收尾且無工具報錯。
機器之心● 精選AI 評分77
Einsia AI 發布 Frontier3DBench，評測 11 款模型的 3D 創作能力
Einsia AI 發布 Frontier3DBench，橫跨 Blender 與 Unreal Engine，用 9 大類 145 項任務（65 項物體、65 項場景、15 項開放世界）評測 Coding Agent 的 3D 創作能力。GPT-6.1-sol 以 66.02 分居總榜第一，物體層與場景層領先；開放世界層則由 GPT-6-astra 以 61.28 分領跑。