清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
用 146 項真實科研軟體任務給出 12 個模型的得分、token 消耗與 API 成本對比,並公開任務集與程式碼,為判斷 agent 能否交付可驗證的科研結果提供實測依據。
原標題:AI真能用好科研软件吗?清华团队推出OSWorld-Science,智能体迎接硬核大考
閱讀原文
| 評分 | 78 / 78(平均 78,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Einsia 發布物理世界模型評測:Seedance 2.5 最高 57.76 分
Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics,用 40 個任務、9 類物理現象測試 8 個影片生成模型,Seedance 2.5 以 57.76 分居首,MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成,物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算,且只有 C≥80 才計入總分。
尤拉永珍與港科廣開源 UniWAM,LIBERO 成功率 99.2%
尤拉永珍與香港科技大學(廣州)聯合開源具身模型 UniWAM(統一世界與動作模型),將語義理解、未來視覺預測與動作生成納入統一架構,並首次揭示人機聯合訓練的 Scaling 趨勢。模型在 LIBERO 取得 99.2% 平均成功率、LIBERO-Plus 92.6%、RoboTwin 2.0 C2R 68.32%,真機在雙臂 AgileX Piper 平台上平均任務成功率 67.5%、指令跟隨率 82.5%,長程桌面整理進度得分 5.0/6。程式碼與權重已全部開源。
PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
InnovationEval:前沿模型花數千美元 GPU 仍未復現人類演算法創新
新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;
@OpenAIDevs: Powered by GPT-6 Luna, it accepts text and image inputs and supports 3 kinds of outputs:
OpenAI 開發者帳號披露 GPT-6 Luna:該模型接受文字與影像輸入,支援三種輸出形式。Predicates 用於估計某條陳述為真的機率;Choices 從預設選項中做出選擇並給出置信度分數;Scores 按數值區間對輸入進行評分。帖子只描述了輸入輸出能力,未提及定價、上下文長度、可用範圍或上線時間。