OpenAI 發布 BioBasicsBench,評測 AI 智慧體溼實驗能力
OpenAI 推出 BioBasicsBench,一個包含 100 項任務的基準,用來衡量 AI 智慧體解讀原始實驗資料、處理日常溼實驗科學工作的能力。該基準關注的是實驗室裡日常操作層面的任務,而不是單一的結果性問答。
把「溼實驗日常操作」拆成 100 項可量化任務,為生物實驗室場景的智慧體能力提供了具體評測口徑,對做 AI for Science 與實驗自動化的人有參考價值。
原標題:Measuring how AI agents handle everyday wet-lab science
閱讀原文
| 評分 | 65 / 55(平均 60,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
阿里資料團隊提出基準健康指數,為 158 個評測基準打分
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
OpenAI 發布 LifeVal 基準,評測模型處理日常事務的能力
OpenAI 發布 LifeVal,一個衡量模型能否處理使用者日常事務的新基準。該基準依據數千名 ChatGPT 使用者的反饋設計,覆蓋尋找托育、獲取政府服務、管理個人財務等他們最希望由個人助理代勞的場景。OpenAI 稱過去一年已用 LifeVal 評估並改進模型在這些日常任務上的表現。
SLDBench v2 讓 AI 自主挑選實驗,8 個前沿模型全部掉分
SLDBench v2 把「做哪些實驗」也交給 AI,8 個前沿模型需要自主選擇實驗後,成績全部下滑,預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄,AI 按當年實際消耗的算力付費購買結果,再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%,R² 中位數 0.570,仍超過經典冪律公式用全部資料擬合的 0.455。
OpenAI 用 AI agents 從生物資料中發現新線索
OpenAI 發布文章,介紹用 AI agents 在複雜生物資料中尋找新線索。文章聚焦生物資料的複雜性與規模化分析,屬於 OpenAI 官方分享的研究方向。公開頁面未給出所用模型、資料集、合作方或具體發現數量,暫無可核實的實測結果。
RobotAgentBench 發布:接入 Codex 等編碼智慧體後,機器人自主任務得分最高 48.5
Aether AI 與 UC San Diego 提出 RobotAgentBench,用於評測機器人在開放世界家庭場景中的自主能力。基準包含 50 種家庭佈局、90 項原子任務與 4 類開放場景,比較 8 個 VLA、3 個 WAM 與 Codex、Claude Code、Antigravity CLI 等編碼智慧體的組合。獨立 VLA/WAM 的任務發現得分均低於 2,開放場景綜合得分最高僅 2.0;