AISpot

浙大等發布 WorldMemBench,評測影片世界模型記憶

機器之心官方公告研究開源

浙江大學、復旦大學、螞蟻集團與南京大學團隊推出 WorldMemBench,用可控的“離開—回訪”鏡頭評測影片世界模型的記憶。基準含 260 個案例、23 個內容類別,分靜態記憶、動態記憶及影片品質、相機跟隨四個維度,測試了 HY-WorldPlay、LingBot-World 等九個模型。結果顯示靜態與動態記憶的強項分化:HY-WorldPlay 七項靜態指標全部領先,LingBot-World 動態記憶總分最高;

將靜態內容保持與動態事件延續分開量化,並用三次回訪暴露記憶衰減,還對比了 FullKV、滑動視窗與 FoV 三種上下文策略;程式碼、資料與生成結果均已開源,可供影片世界模型研究與評測直接複用。

原標題:看过的场景能否记住,发生的事件能否延续?WorldMemBench 系统评测世界模型记忆
閱讀原文

評分62 / 70(平均 66,門檻 65)
狀態精選

相關報導

機器之心● 精選AI 評分76

WorldOracle 評測平台開放,世界模型物體與長序列預測明顯退化

由普林斯頓大學、多倫多大學、NVIDIA 與智元等機構提出的世界模型評測平台 WorldOracle 於 10 月 16 日向開發者開放,以真實操作記錄檢驗模型對動作後果的預測。首批七種模型暴露兩類問題:機械臂路徑跟得準但物體位置偏差大,IRASim 機械臂得分 78.8、物體僅 29.1,Cosmos 3 為 89.4 與 45.4;

機器之心● 精選AI 評分77

Honeycomb 用六張固定平面為影片世界模型做恆定大小記憶

Honeycomb 提出用六張固定尺寸的二維特徵平面(HexMemory)儲存場景,讓影片世界模型的記憶不隨影片長度增長。預設配置為 512 解析度、特徵秩 48,約 73.9 MB;降到 256 解析度後僅 19.8 MB,閉環 PSNR 只從 17.22 dB 微降到 17.10 dB。在 WorldScore 閉環重訪測試中它取得最佳結果:PSNR 17.22 dB、SSIM 0.504、光流誤差 3.00 畫素,明顯優於 Spatia 的 6.64 畫素。

機器之心● 精選AI 評分78

清華等推出 OSWorld-Science,12 個模型平均得分 34.3%

清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。