OpenAI 發布 BioBasicsBench,衡量 AI agent 的溼實驗分析能力
OpenAI 與酶設計生物技術公司 Ligo 合作推出 BioBasicsBench,用 100 個來自真實實驗的任務衡量 AI agent 能否完成溼實驗室的常規資料分析。任務考察 agent 解讀原始實驗資料、識別錯誤,以及判斷證據是否足以支援結論。OpenAI 表示該基準能指出模型需要改進的地方,並追蹤這些進步對科研進展、生物安全與生物安保的意義。
以 100 個真實溼實驗任務評測 agent 的資料解讀與查錯能力,並把「證據是否支援結論」納入評判,為科研 agent 開發者與生物安全評估提供了可跟蹤的量化基準。
原標題:@OpenAI: A new way to measure how AI agents handle the routine analyses of wet-lab science—BioBasicsBench.
閱讀原文
| 評分 | 65 / 66(平均 65,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
OpenAI 用 AI agents 從生物資料中發現新線索
OpenAI 發布文章,介紹用 AI agents 在複雜生物資料中尋找新線索。文章聚焦生物資料的複雜性與規模化分析,屬於 OpenAI 官方分享的研究方向。公開頁面未給出所用模型、資料集、合作方或具體發現數量,暫無可核實的實測結果。
阿里資料團隊提出基準健康指數,為 158 個評測基準打分
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
OpenAI 發布 LifeVal 基準,評測模型處理日常事務的能力
OpenAI 發布 LifeVal,一個衡量模型能否處理使用者日常事務的新基準。該基準依據數千名 ChatGPT 使用者的反饋設計,覆蓋尋找托育、獲取政府服務、管理個人財務等他們最希望由個人助理代勞的場景。OpenAI 稱過去一年已用 LifeVal 評估並改進模型在這些日常任務上的表現。
OpenAI 收購 Orchestra Bio,團隊併入 Rosalind
OpenAI 宣布收購 2022 年成立的 AI 生物製藥公司 Orchestra Bio,並將其團隊與技術整合進面向生命科學的 Rosalind 模型與工具。Orchestra 的平台用於協調藥物開發流程,其 CTO Andy Xu 畢業於北京大學與約翰斯·霍普金斯大學,曾在微軟工作近 19 年。同日,Anthropic 公布 Claude 在 64 小時內生成 318484 種蛋白質設計,其中 17 種達到結合蠍毒神經毒素的預設標準;
Biohub 與 DOE、NIH、Google DeepMind 等投入 18 億美元建 AI 生物資料
Biohub、美國能源部(DOE)、NIH 與 Google DeepMind、Isomorphic Labs、Meta 等宣布共同投入 18 億美元,生成面向 AI 的開放生物學資料。其中 DOE 五年投入逾 5 億美元用於測量、建模與算力,NIH 協調此前超 5 億美元聯邦投資積累的生物醫學資料集,三家科技公司則向 2026 年 4 月啟動的 Virtual Biology Initiative 合計投入 3 億美元。