阿里資料團隊提出基準健康指數，為 158 個評測基準打分
阿里資料等團隊提出基準健康指數（BHI），從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分，論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首，Agents' Last Exam（53.08）和 AutomationBench（52.68）緊隨其後。研究基於 117 個模型的技術報告，用留一基準法估計模型能力，並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
首次用可量化三維指標系統給評測基準本身打分排序，並公開 HLE 等主流基準的健康度對比，對需要選擇評測基準做模型對比的研究與工程團隊有直接參考價值。
原標題：NeurIPS 2026 ED Oral丨Benchmark也有保质期？我们给158个评测基准打了分
閱讀原文
| 評分 | 76 / 75（平均 75，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
SLDBench v2 讓 AI 自主挑選實驗，8 個前沿模型全部掉分
SLDBench v2 把「做哪些實驗」也交給 AI，8 個前沿模型需要自主選擇實驗後，成績全部下滑，預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄，AI 按當年實際消耗的算力付費購買結果，再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%，R² 中位數 0.570，仍超過經典冪律公式用全部資料擬合的 0.455。
Artificial Analysis Intelligence Index v5 發布，Claude Opus 5.5…
Artificial Analysis 發布 Intelligence Index v5，Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra 57 分、GPT-6.1 Sol 55 分緊隨，Gemini 4 Argon 50 分。
OpenRSI Index 上線：讓智慧體改進 Qwen、Marin 等開源訓練方案
OpenRSI Index 正式發布，這是一個用真實開源研究專案出題、檢驗科研智慧體能否改進人類訓練方案的評測基準。任務取自 Marin、Qwen、GPIC 等專案，覆蓋預訓練、後訓練與影像生成，單次執行算力從 5,815 到 20,864 H100·小時。智慧體在工作區反覆實驗，提交後凍結快照交由獨立評測環境驗收，原作者方案在同一環境重跑作為對照，篡改獎勵、洩露評測資訊或超預算計零分。