WorldOracle 評測平台開放,世界模型物體與長序列預測明顯退化
由普林斯頓大學、多倫多大學、NVIDIA 與智元等機構提出的世界模型評測平台 WorldOracle 於 10 月 16 日向開發者開放,以真實操作記錄檢驗模型對動作後果的預測。首批七種模型暴露兩類問題:機械臂路徑跟得準但物體位置偏差大,IRASim 機械臂得分 78.8、物體僅 29.1,Cosmos 3 為 89.4 與 45.4;
目前唯一同時覆蓋動作序列輸入、真實執行資料、失敗案例與策略自主執行軌跡的具身世界模型基準,給出七種模型的實測分數並點出物體預測與長序列退化兩類短板,對做具身世界模型的研究者最有參考價值。
原標題:世界模型能不能上桌?WorldOracle给出了一场真实大考
閱讀原文
| 評分 | 74 / 78(平均 76,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
優必選 Thinker-WM 登頂三大具身世界模型基準
優必選 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena Track-1 三項具身世界模型基準評測中均列第一,WorldOlympiad 綜合得分 0.740,EWMBench 總分 4.66,超過 Qwen-RobotWorld、Sora2 等模型。
尤拉永珍與港科廣開源 UniWAM,LIBERO 成功率 99.2%
尤拉永珍與香港科技大學(廣州)聯合開源具身模型 UniWAM(統一世界與動作模型),將語義理解、未來視覺預測與動作生成納入統一架構,並首次揭示人機聯合訓練的 Scaling 趨勢。模型在 LIBERO 取得 99.2% 平均成功率、LIBERO-Plus 92.6%、RoboTwin 2.0 C2R 68.32%,真機在雙臂 AgileX Piper 平台上平均任務成功率 67.5%、指令跟隨率 82.5%,長程桌面整理進度得分 5.0/6。程式碼與權重已全部開源。
牛津等團隊提出互動式影片世界模型 Oneira
牛津大學、莫納什大學與布里斯托大學等團隊提出互動式影片世界模型 Oneira,由 Coding Agent 維護的 World State Table 單獨記錄場景中每個物體的 3D BBox 與互動狀態,從而精確改變指定物體,並讓改變後的狀態在後續影片中持續保留。
Einsia 發布物理世界模型評測:Seedance 2.5 最高 57.76 分
Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics,用 40 個任務、9 類物理現象測試 8 個影片生成模型,Seedance 2.5 以 57.76 分居首,MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成,物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算,且只有 C≥80 才計入總分。