Ai2 發布 StateBench：前沿模型長文狀態追蹤仍失靈
Ai2 推出 StateBench，一個按四檔難度衡量語言模型在長文件中追蹤實體狀態變化的基準。結果顯示：迴圈與混合架構（如加入 Gated DeltaNet 層的 Olmo Hybrid）在直接訓練後泛化能力遠超 transformer，而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna 等前沿模型在輸入變長、依賴鏈變複雜時仍會失效。
用統一可控的四檔任務對比 transformer 與迴圈/混合架構的狀態追蹤能力，並點名 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 在長依賴鏈上失效，為判斷長上下文能力邊界提供了可復現的基準。
原標題：StateBench: Testing how language models track state changes over long documents
閱讀原文
| 評分 | 76 / 70（平均 73，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
7B 審計模型 AgentForesight 上線，多智慧體任務失敗前預警
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
Ai2 開源 AstaBrief 8B 科學報告生成模型
Ai2 開源了 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告，比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放，機構可在自有基礎設施上本地生成報告。
SLDBench v2 讓 AI 自主挑選實驗，8 個前沿模型全部掉分
SLDBench v2 把「做哪些實驗」也交給 AI，8 個前沿模型需要自主選擇實驗後，成績全部下滑，預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄，AI 按當年實際消耗的算力付費購買結果，再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%，R² 中位數 0.570，仍超過經典冪律公式用全部資料擬合的 0.455。
微軟與 Hugging Face 發布 ThinkingBox，按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準，通過 Hugging Face 提供，不看 agent 的回覆文字和工具呼叫，只檢查它留在後端資料庫裡的最終狀態與副作用，每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中，79,853 次未通過可執行檢查，其中 67.24% 仍乾淨收尾且無工具報錯。