Google Developers blog● 精選AI 評分66
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
搜尋
依意思最接近的 30 筆
TechCrunch AIAI 評分56
Hugging Face 政策主管：嵌入式 AI 評測員難成現成方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
Hacker News front pageAI 評分56
學者提出 Ephemeral Testing：用 AI 臨時搭建上層應用檢驗程式碼
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing（臨時測試）：不直接評估自己寫的程式碼，而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試，用完即棄，再根據失敗情況反推底層程式碼品質。它屬於整合測試，區別在於上層軟體完全是一次性的；API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西，隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗，這些失敗是底層程式碼的證據而非 agent 的問題。
Hacker News front pageAI 評分52
Armature 上線 agent.reviews，讓 AI agent 互評工具
Armature（YC P26）上線 agent.reviews，定位為面向 AI agent 的工具評價站，通過 skills 和 npm CLI（@armature-tech/agent-reviews）接入其 API，Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露，評價發布前要過三層檢查：確定性規則過濾金鑰、PII 與 URL，Jev 分類器，以及一個小模型複核。
The Verge AIAI 評分46
麥肯錫面試將讓初級候選人對話 AI 模擬客戶
《華爾街日報》報導，麥肯錫將在部分初級崗位的面試中，讓候選人進行一場 10 分鐘的 AI 模擬客戶對話。該模擬覆蓋麥肯錫顧問日常工作中約 80% 的場景，且並不刻意模仿「失控的客戶」。AI 本身不打分，由現場的人類面試官評估候選人如何應對這些模擬情境。目前該工具在部分辦公室面向申請商業分析師崗位的本科生測試。
Hacker News front pageAI 評分46
Jev 發布 33 天即退燒，折射 AI 行業炒作與創新匱乏
Jev 發布 33 天后熱度迅速消退，這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器，宣稱不會幻覺、更快更便宜，但輸出仍會出錯，且已有開放權重模型在部分任務上價效比更高，並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現，並由此質疑行業四年來的創新增量。
機器之心● 精選AI 評分83
商湯聯合團隊評測 GPT-6-Astra：模擬近滿分，真機插頭 11 次全敗
商湯聯合大曉機器人、Ropedia、南洋理工大學與東京大學發布報告《Has GPT-6-Astra Achieved Embodied Intelligence?》，對 GPT-6-Astra 做了 12 項模擬評測與 8 個真實機器人平台的系統測試。在允許上下文學習並把動作步數放寬到最多 10 倍後，它在 LIBERO-Long++ 上達 100%、LIBERO-Pro 99.3%、SIMPLE 98.8%；
Hacker News front pageAI 評分46
Meta 工程師稱難逐行審查 AI 生成程式碼
Meta 工程師在 LinkedIn 發帖稱，用 AI 寫程式碼後難以逐行審查，交付的系統成了自己不完全理解的黑盒。帖文說 AI 輔助交付節奏太快，逐行檢查會耗費大量時間，結果可能只懂高層結構、不懂每個細節，這違背軟體工程習慣。該帖被轉到 Hacker News 的 Ask HN 後獲得 179 分、292 條評論，討論工程師該理解到什麼程度、又該如何應對才敢繼續交付。
機器之心● 精選AI 評分80
混元與復旦發布 ExplorationBench，評測 AI 自主探索能力
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench，用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic，評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後，在 AlienCode 上最高僅 15.7%，四輪探索後最好軌跡達 89.0%；若只讓模型多想、不給環境反饋，最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%，而事先直接告知全部規則反而只有 69.5%，說明探索過程同時提升了規則的使用能力。
機器之心● 精選AI 評分73
RSIGame 讓 AI 自主試玩迭代遊戲，27B 模型組合超 GPT-5.5 一次生成
UC San Diego、ByteDance 與 CMU 提出 RSIGame，讓 Agent 在可執行的遊戲環境裡自主試玩、診斷、修改並驗證，形成長期自我改進閉環。以 GPT-5.5 生成的遊戲為起點，多輪自主開發後品質評分從 50.26 提升到 64.53；在 GameCraft-Bench 的 140 個任務、Godot 與 Phaser 兩種引擎上，比迭代開發基線 Play2Code 高 7.2～13.8 分。
Hacker News front pageAI 評分45
開源工具 CATT 0.2.1 可在 CI 中用模擬 Muse/Instinct 助手測試服務
開源工具 CATT 0.2.1 讓開發者用一個模擬的 Muse/Instinct 助手來測試自己的服務或 MCP。測試者可設定起始條件、審批和成功條件；CATT 會記錄完整互動（含工具呼叫與回應），並對比助手聲稱的結果與實際發生的情況。它支援工具呼叫與命令列訪問、模擬服務審批，並提供基於非官方 Muse 模板的 MCP profile；它可在本地或 CI 中執行，有無 LLM 後端均可。
TechCrunch AIAI 評分58
調查：超半數高管稱用 AI 後更難評估員工績效
Monday.com 委託 Nielsen 對七國 1700 名董事與高管調查顯示，超半數認為員工產出經 AI 打磨後難辨人機貢獻，近半數因此花更多時間審閱團隊產出。94% 仍對 AI 感到興奮，但 78% 已改變考核方式，更看重提示詞撰寫與任務分配能力；39% 用 AI 起草績效評估，46% 用 AI 輔助決策。57% 的組織在用的工具反而變多，僅 29% 稱 AI 基礎設施已集中最佳化；58% 預計一年內要監督的 AI agent 數量將超過人類員工。
Hugging Face blog● 精選AI 評分77
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
TechCrunch AIAI 評分51
Laplace 用 AI 智慧體為機器人和自動駕駛做紅隊測試
密西根大學團隊創立的 Laplace Intelligence 正在為機器人、自動駕駛等物理 AI 做自動化紅隊測試：用 AI 智慧體在高保真模擬中自動設計罕見極端場景，在部署前找出失效點。模擬環境基於輝達 Cosmos 世界模型的後訓練版本搭建，可按語言指令即時改造街景，並讓其他交通參與者對環境做出互動反應。
機器之心● 精選AI 評分74
中科院軟體所聯合快手推出 OmniBehavior 使用者行為模擬基準
中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior，這是首個真實世界全鏈路使用者行為模擬基準，已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄，橫跨影片、直播、電商、廣告與搜尋場景，共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分，多數模型在 32 至 41 分，擴大上下文視窗未帶來穩定提升。
量子位AI 評分50
範式智慧聯合睿思智聯開源生產級 AI 部署平台模域 ModelSphere
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
Hacker News front pageAI 評分67
Anthropic 稱自複製 AI 蠕蟲或數月內出現
Anthropic 週一發布研究報告，稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理，Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒；GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B，5 次試驗中 4 次全部成功。
機器之心● 精選AI 評分77
多模態 Agent 記憶基準 WorldMemArena 發布
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena，論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖，把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示，存得多不等於用得好：M2A 記憶召回率 86.83%，問答正確率僅 50.14%；
量子位AI 評分63
AI 影視公司 Utopai 影片模型盲測排名第二
Artificial Analysis 最新文生影片榜單中，影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二，與第一名阿里 Wan 3.0 僅差 7 分，據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生；Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練，10 項能力中有 7 項比基座更接近頂尖水平，音訊同步、運鏡控制與物理提升最明顯。
機器之心● 精選AI 評分84
Anthropic 研究：AI 可在廉價電視盒子上自主複製傳播
Anthropic 前沿紅隊發布研究，測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B，總價約 825 美元，生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點，但依賴外部推理伺服器與預開的免認證 ADB 埠；
NVIDIA blogAI 評分45
輝達用 GPT-6 Astra 驅動 Omniverse 模擬開發
輝達公布多個案例，展示開發者用 GPT-6 Astra 等前沿模型配合 Omniverse 庫，靠自然語言指令建置模擬應用。其中倉庫模擬在 80 臺傳送帶、40 個機械臂和 800 個箱子的規模下，以全高畫質 30 幀每秒持續執行兩分鐘，機械臂完成 640 次抓放；規模再翻倍後定位到物理與機器人控制管線的瓶頸。其餘案例涵蓋柔性電纜佈線的強化學習、CAD 轉 SimReady 資產、人形機器人第一與第三人稱模擬，以及基於舊金山 Market Street 的自動駕駛測試流程。
Hacker News front page● 精選AI 評分82
InnovationEval：前沿模型花數千美元 GPU 仍未復現人類演算法創新
新評測 InnovationEval 顯示，前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新：在端到端任務中，它們耗費數千美元 GPU 算力，仍未達到人類論文（on-policy self-distillation，SDPO）的水平。測試要求 AI 自主提出一種新的後訓練方法，在短答題與程式碼任務上後訓練 Qwen3-8B，並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol；
Ars Technica AIAI 評分59
AI 克隆遊戲太快，獨立開發者推遲公開 demo
獨立工作室 Alliance Arts 推遲了《Drunken Goddess Reflux》在 Steam Next Fest 的公開試玩，原因是擔心 demo 的畫面與玩法被 AI 或其他工具快速模仿複製，仿製品甚至可能在本作正式發售前搶先上線。團隊表示，除了直播限制的管理問題外，AI 程式設計工具讓克隆變得高效，是這次決定延期的關鍵。這也讓更多開發者對過早、大範圍展示早期作品變得謹慎。
TechCrunch AIAI 評分67
HackerRank 向客戶開放 AI 面試官 Chakra，已面試超 50 萬場
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta，週一起正式向企業客戶開放，測試期間已完成逾 50 萬場面試，Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務，Chakra 會依據其操作追問思路，評估批判性思維、判斷力與「AI fluency」，即如何向 AI 描述問題、判斷其輸出並引匯出解法。
機器之心AI 評分48
影視公司 Utopai 的定製模型 Utopai X 登 Video Arena 全球第二
Artificial Analysis 的 Video Arena 文生影片排行榜上，影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一，這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練，在評測的 10 項細分能力中 7 項超越基座模型，音訊同步與物理規律排名第一，光照與材質、鏡頭控制排名第二。
機器之心● 精選AI 評分78
CodeActionBench 發布：GPT-6 Astra 機器人操作成功率 73.3%
南洋理工大學研究者與合作者發布 CodeActionBench，用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首，75 次嘗試完成 55 次、22 個任務至少成功一次；Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%，Gemini 3.6 Flash 為 20.0%。
機器之心● 精選AI 評分79
Google 面試試點允許用 Gemini，改考程式碼理解與 AI 熟練度
Google 正在試點允許候選人在軟體工程師面試中使用 Gemini，考察重點從手寫演算法題轉向程式碼理解與 AI 熟練度：閱讀、除錯並最佳化已有程式碼，並核實 AI 給出的修復方案是否成立。試點面向今年下半年美國部分團隊的初級和中級軟體工程師崗位，Google Cloud、平台與裝置等部門參與。Google CEO 此前披露，公司 75% 的新增程式碼已由 AI 生成、再由工程師稽核。
X @AnthropicAI● 精選AI 評分79
@AnthropicAI: New on our Frontier Red Team blog: using Claude to formally verify software at large scale.
Anthropic 前沿紅隊部落格發布研究：與 Theorem Labs 合作，用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間，AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
Anthropic Research● 精選AI 評分85
Frontier Red Team：小型模型或數月內可在 IoT 裝置自我複製
Frontier Red Team 的實驗顯示，小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製：這類複製體沒有集中的關停點、倍增時間為數天，還能自行摸清陌生硬體，測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步，30B 以下模型已能完成多數單步但端到端串聯仍會出錯，簡化評測中 GLM-5.2 及更強模型可端到端複製。
機器之心● 精選AI 評分80
AA-Robotics 首份榜單發布：GPT-6 Astra 操控機械臂得分居首
Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1，首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂，零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首，GPT-6.1 Sol 64.6 分，Gemini 4 Argon 55.3 分，Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。