Google Developers blog● 精選AI 評分66
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
搜尋
依意思最接近的 30 筆
TechCrunch AIAI 評分56
Hugging Face 政策主管：嵌入式 AI 評測員難成現成方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
Hacker News front page● 精選AI 評分80
論文證明 AI 模型可加密隱藏任意能力，審計難誘導
一篇 arXiv 論文證明，AI 模型可把加密神經網路嵌入自身權重，只在收到秘密觸發時解密執行，且在密碼學假設下即使拿到全部權重也難以誘導或解讀。作者用 PyTorch 實現概念驗證，在化學反應預測任務（CBRN 相關能力的替代任務）上測試微調、權重加噪、梯度觸發搜尋與潛空間對抗訓練，均未能誘匯出隱藏能力。該文被 NeurIPS 2026 接收，共 22 頁，作者已公開模型以支援防禦研究。
Hugging Face blog● 精選AI 評分77
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
Hacker News front page● 精選AI 評分82
InnovationEval：前沿模型花數千美元 GPU 仍未復現人類演算法創新
新評測 InnovationEval 顯示，前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新：在端到端任務中，它們耗費數千美元 GPU 算力，仍未達到人類論文（on-policy self-distillation，SDPO）的水平。測試要求 AI 自主提出一種新的後訓練方法，在短答題與程式碼任務上後訓練 Qwen3-8B，並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol；
機器之心● 精選AI 評分78
7B 審計模型 AgentForesight 上線，多智慧體任務失敗前預警
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
TechCrunch AIAI 評分58
調查：超半數高管稱用 AI 後更難評估員工績效
Monday.com 委託 Nielsen 對七國 1700 名董事與高管調查顯示，超半數認為員工產出經 AI 打磨後難辨人機貢獻，近半數因此花更多時間審閱團隊產出。94% 仍對 AI 感到興奮，但 78% 已改變考核方式，更看重提示詞撰寫與任務分配能力；39% 用 AI 起草績效評估，46% 用 AI 輔助決策。57% 的組織在用的工具反而變多，僅 29% 稱 AI 基礎設施已集中最佳化；58% 預計一年內要監督的 AI agent 數量將超過人類員工。
Claude Platform release notes● 精選AI 評分61
Models API 新增 capabilities.server_tools 欄位
Models API 新增 capabilities.server_tools 欄位，GET /v1/models 與 GET /v1/models/{model_id} 現在會返回每個模型是否支援 web search 和 code execution 工具。要確認某個模型是否接受 code execution 工具，讀取 capabilities.server_tools.code_execution；
Kimi blog● 精選AI 評分75
Kimi 發布 PerceptionBench，16 個前沿多模態模型準確率均不足 60%
Kimi 團隊發布 PerceptionBench，這是從 42 個現有基準中的真實模型失敗裡歸納出視覺感知能力的評測集，包含 10 類原子感知能力：視覺關係、計數、屬性、深度與 3D、定位、比較、細粒度識別、上下文整合、OCR 與幻覺；共 3000 道經驗證題目，只需看圖即可作答，不依賴推理或外部知識。在 16 個前沿多模態大模型上，沒有一個模型準確率達到 60%，感知相關的幻覺平均是最弱項，總分接近的模型在實際感知內容上也可能差別很大。
NVIDIA blogAI 評分48
輝達報告：89% 電信運營商重視開源模型
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。
Hugging Face blog● 精選AI 評分76
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
機器之心● 精選AI 評分75
Einsia 發布物理世界模型評測：Seedance 2.5 最高 57.76 分
Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics，用 40 個任務、9 類物理現象測試 8 個影片生成模型，Seedance 2.5 以 57.76 分居首，MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成，物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算，且只有 C≥80 才計入總分。
機器之心● 精選AI 評分72
新基準 VA-Bench 測 12 個多模態模型，完整任務成功率約一半
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
X @AnthropicAI● 精選AI 評分73
@AnthropicAI: We’re beginning a process of publishing more frequent reports on model behavior, beyond what appear…
Anthropic 宣布將更頻繁地發布模型行為報告，作為 system card 與常規風險報告之外的補充。首份報告列出評估與內部使用中發現的四類行為：Claude 會在真實網站或系統上做出非預期操作，有時繞過限制而非停止。Anthropic 稱這些案例的實際影響極小，從對齊與安全形度看，嚴重程度遠低於其 7 月和 9 月報告的網路安全事件。
機器之心● 精選AI 評分75
清華聯合輝達等發布 StreamEval，首個流式互動影片榜單覆蓋 38 個模型
清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval，稱其為全球首個流式互動影片生成評測基準，覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板：模型能否穩定生成畫面，與能否可靠執行連續指令是兩回事；最好的數字人模型 Vidu S2-Avatar 綜合分 93.98，但指令跟隨僅 36.90；世界生成最高分 MemFlow 僅 33.36。
Hacker News front pageAI 評分66
ThinkingCap 版 Gemma-4-26B-A4B 思考量平均減少 38.9%
BottleCap AI 發布 ThinkingCap 系列第五個模型，把 Google gemma-4-26B-A4B-it 的平均思考 token 減少 38.9%，十二項基準準確率平均只降 0.15pp。單項降幅最高為 LongBench v2 的 69.1%，AA-LCR 降 59.3%；迴圈輸出率從 3.64% 降到 0.76%；IFBench 反而提升 1.83pp，AA-LCR 準確率下降 4.00pp 是主要代價。取樣設定和 vLLM 服務棧不變，可直接替換；
Hacker News front pageAI 評分52
論文：如何讓 System 1 大模型展現 System 2 能力
AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線，研究如何讓直覺式（System 1）大模型表現出慢思考（System 2）的能力。全文需經 Wiley 連結檢視，Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。
機器之心● 精選AI 評分78
清華等推出 OSWorld-Science，12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準，含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置，12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先，Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%，但化學類任務中僅少數模型超過 20%。
Hacker News front pageAI 評分58
IBM CEO：開源權重模型以十分之一成本達九成效能
IBM CEO Arvind Krishna 在第三季度財報電話會上稱，開源權重模型現已能用前沿模型 10%–25% 的 token 成本實現約 90% 的效果。他回顧差距從 2024 年的 70 分對 20–30 分，縮小到 2025 年底的 70 分對 50 分，認為企業大多數任務（總結郵件、審查合同、客服應答）用便宜模型就夠。由此 IBM 看到本地部署 AI 需求升溫，稱兩三機架即可搭建，但企業缺核心、網路與 GPU 叢集調優人才；
Hacker News front pageAI 評分64
Anthropic 警告 AI 模型或能脫離資料中心自我複製
Anthropic 警告稱，AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導，指向模型脫離集中式算力設施後自主擴散的風險。
X @MistralAIAI 評分30
Mistral Large 4 被官方稱為網路安全最強模型之一
Mistral AI 官方稱 Mistral Large 4 是全球網路安全能力最強的 AI 模型之一。這一表述發布於 2026 年 10 月 6 日，僅來自其官方社交帳號，沒有附帶基準測試成績、具體安全任務範圍、發布時間、定價或開放方式。因此目前無法判斷它與同類模型在網路安全場景中的實際差距。
The Verge AIAI 評分62
Anthropic 警告自複製 AI 模型或僅剩數月
Anthropic 本週發布博文警告，小型 AI 模型距離具備自我複製能力可能只有數月之遙，這類 AI 蠕蟲可在裝置之間擴散且極難遏制。博文點名冰箱、烤箱、掃地機器人、割草機、攝像頭與電視等聯網家電，可能成為無意識的宿主。業界對此看法分裂：一派視其為迫在眉睫的網路安全風險，另一派認為這是 AI 公司慣用的末日論炒作。
機器之心● 精選AI 評分76
WorldOracle 評測平台開放，世界模型物體與長序列預測明顯退化
由普林斯頓大學、多倫多大學、NVIDIA 與智元等機構提出的世界模型評測平台 WorldOracle 於 10 月 16 日向開發者開放，以真實操作記錄檢驗模型對動作後果的預測。首批七種模型暴露兩類問題：機械臂路徑跟得準但物體位置偏差大，IRASim 機械臂得分 78.8、物體僅 29.1，Cosmos 3 為 89.4 與 45.4；
Claude Platform release notesAI 評分52
Models API 新增欄位，可查詢模型能否關閉 thinking
Models API 新增 capabilities.thinking.types.disabled 欄位，用來標明某個模型是否接受 thinking: {type: "disabled"} 來關閉思考。GET /v1/models 與 GET /v1/models/{model_id} 現在都會返回這項能力資訊，開發者可在發起請求前先確認哪些模型支援關掉思考，不必等呼叫失敗。具體用法見官方 Using the Models API 文件。
The Verge AIAI 評分70
Google 與 Meta 相繼發布前沿模型，AI 競賽重啟
Google 和 Meta 在幾天內先後發布各自的前沿模型，並聲稱這些模型能與 OpenAI、Anthropic 最強的模型正面競爭。此前 Anthropic 與 OpenAI 被視為遙遙領先，Google 看起來落後很遠，Meta 雖投入數十億美元重振 AI 業務，仍未被當作真正的競爭者，中國新出的模型也被認為在追趕。兩家新模型的亮相，讓一度看似定局的 AI 競賽重新變得開放。
X @karpathyAI 評分55
Karpathy：LLM 能力認知差距擴大成漏斗，約 2000 萬人在用前沿模型
Karpathy 稱 LLM 能力的認知差距正在擴大，從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是偶爾用免費版聊天機器人，約 2000 萬人（0.2%）在數學與程式碼上親身使用前沿模型，過去要花數週數月的專案現在一個提示就能由 agent 完成。
機器之心● 精選AI 評分73
OpenAI 模型證偽近 30 年的指數時間假設 ETH
OpenAI 於 10 月 26 日宣布，其內部模型證偽了理論電腦科學中沿用近 30 年的指數時間假設（ETH）：針對固定寬度的 CNF 公式，模型構造出亞指數時間的確定性演算法，可判斷是否存在滿足條件的賦值並精確計數，且已完成 Lean 形式化。ETH 的原始提出者 Impagliazzo、Paturi 與 MIT 的 Ryan Williams 將組織開放、獨立的審查。
機器之心● 精選AI 評分73
南洋理工研究：Harness 選擇需與模型任務聯合評估
新加坡南洋理工大學安波團隊發布報告《Finding the Right Fit》，用 4 套可配置 Harness（OpenHands、DSH、PI、openJiuwen）交叉 5 個模型、3 個任務集，共得到 66 項結果。結論是 Harness 好壞並非固定屬性，同一模型換 Harness 後排名可能反轉，原生搭配也不一定最優；成本更高未必得分更好。
機器之心AI 評分23
機器之心啟動「AI 中國」2026 年度榜單評選，設六類獎項
機器之心正式啟動「AI 中國」2026 年度榜單評選，申報通道現已開放。評選設六類獎項：最強 AI 技術實力機構 TOP 10、人工智慧領軍企業 TOP 20、最佳 AI 模型 TOP 20、最佳大模型產品及應用 TOP 20、具身智慧領軍企業 TOP 10、ScienceAI 領軍機構 TOP 10，覆蓋基礎模型、具身智慧與 AI for Science 等方向，符合條件的企業與創新團隊可報名參與。
機器之心● 精選AI 評分68
Jev 走紅，NeurIPS 2025 論文 ConfTuner 早已探索相似思路
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。