PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
依意思最接近的 30 筆
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
Ai2 發布 FairStress 基準;除模型最終選擇外,它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景,覆蓋 29 個領域;組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例,並另發布 5 萬條 FairStress-Core 子集,整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列,結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
一項覆蓋美國經濟的基準地圖研究顯示,90% 的美國工作時間花在現有 AI 基準幾乎未覆蓋的任務上。研究把美國勞工部 O*NET 的 923 個職業、18797 項任務與篩選出的 29 個基準做對映,只有 208 個職業、924 項任務被至少 5 條基準提示覆蓋,22 個職業大類中有 6 類完全空白。覆蓋分佈並不隨機,偏向高工資、大勞動力市場:同樣被判定易受 AI 影響的律師任務覆蓋充分,法律秘書、法庭書記員的任務卻幾乎沒有對應基準。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式第三方評測員並非解決模型安全問題的簡單答案,評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較,且目前絕大多數評測針對模型本身,對 harness 和完整 agent 的評測既少又昂貴;而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務,需要更多標準化。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
AI 工具正在加速老遊戲的反編譯與重編譯移植,也讓專注遊戲儲存的社群遭到衝擊。過去一個月,瀏覽器裡的《光環》、iPhone 上的《風之杖》、混合現實中的《任天堂明星大亂鬥》等非常規移植專案高頻走紅。愛好者用 decomps/recomps 逆向拆解遊戲,再為新平台重建;AI 提高了移植速度,卻撕裂了原本緊密的儲存社群。
FurtherAI 的 Sashank Gondala 復盤九個月 AI 原生工程實踐:自 1 月起每位工程師每日合併的程式碼變更量增長約 5 倍,回滾率仍低於 0.5%。面向客戶的變更從夏季每月 17 至 30 個升到 9 月 45 個、10 月預計 48 個;含測試的變更佔比從 15% 升至 91%,AI 先行評審覆蓋 99% 的變更,最多三分之一低風險變更無需人工合併。
中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior,這是首個真實世界全鏈路使用者行為模擬基準,已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄,橫跨影片、直播、電商、廣告與搜尋場景,共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分,多數模型在 32 至 41 分,擴大上下文視窗未帶來穩定提升。
作者以親歷說明 AI 讓「更敢做」變得可行:藉助 SOTA 模型,他只花個位數小時就做出可用的正則引擎、ripgrep 分支和更快的 Rust 建置,而這類工作過去要一年以上。他還為常被當成 AI 生成垃圾的 pgrust(用 Rust 重寫 Postgres)辯護,指出其維護者在測試中發現了多個真實 Postgres bug,涉及數值、格式快取、pgcrypto 與 money 溢位。
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準,結論是用 LLM 當新穎性評審並不可靠:只改 prompt 裡幾處措辭,模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6,檢索與額外推理都不能穩定改善判斷,兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
Frontier Red Team 的實驗顯示,小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製:這類複製體沒有集中的關停點、倍增時間為數天,還能自行摸清陌生硬體,測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步,30B 以下模型已能完成多數單步但端到端串聯仍會出錯,簡化評測中 GLM-5.2 及更強模型可端到端複製。
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。
清華大學電子工程系發布智慧體符號迴歸執行時框架 SRHarness,程式碼已開源,支援 PyPI 安裝並提供線上 Demo。在相同 DeepSeek-v4-flash 底座下,其 LSR-Transform 符號恢復率達 93.69%,較此前最先進方法 SR-Scientist 的 62.16% 提升超 30 個百分點;匿名化測試中為 72.97%,遠高於 Codex 的 20.72%。
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現,AI 採用度高的組織每位開發者 bug 增加 54%,PR 評審中位耗時約漲 5 倍,每 PR 事故數超 3 倍;其 Q3 報告稱部分效應有所緩解,但驗證與運維成本仍在累積。
新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;
Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流:以 Mistral Large 4 配合資料生成與物理建模管線,用 NVIDIA CUDA-X、Warp 加速模擬,並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集,併為 CAE、EDA 中的 agentic AI 建立評測,考察工具使用、多步流程與技術正確性,同時記錄耗時與算力成本。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Jev 發布 33 天后熱度迅速消退,這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器,宣稱不會幻覺、更快更便宜,但輸出仍會出錯,且已有開放權重模型在部分任務上價效比更高,並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現,並由此質疑行業四年來的創新增量。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
OpenAI Devs 表示,團隊用 Rust 重寫服務層,降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集,團隊保留了廣泛複製;設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化,但未給出延遲、吞吐等具體數字或生效範圍。
Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
ServiceNow CoreAI 團隊發布 AutoSynthData,用目標模型的失敗案例和更強教師模型的成功軌跡定位能力缺口,再自動生成並驗證新任務用於後訓練。任務由系統規範、使用者提示和驗證器三部分組成,需滿足可行性、真實性與難度要求,驗證器則要求一致、可靠且不繫結單一參考軌跡。團隊在 EnterpriseOps Gym 資料集上演示了該流程,模型提升後課程會轉向仍難完成的任務。