洗碗機裝載基準 DishwasherBench 發布 0.1.0 版
DishwasherBench 發布 0.1.0 版:這是一個洗碗機裝載基準,在真實機型 Bosch SMV4HAX40G 的剛體物理模擬上跑 Eco 50 洗滌,按洗淨件數計分,人類可在瀏覽器玩,模型經 MCP 接入。七關難度遞增,首關之後並非所有餐具都裝得下,須自行取捨。官方檔最大關卡一次洗滌在 MacBook Pro M3 Pro 上耗時 4.9 分鐘。兩個模型已通過 OpenAI 相容端點試玩三個關卡共六局,尚無人類基線;
把洗碗機裝載做成可回放驗證的物理基準,瀏覽器與 MCP 雙通道,並公開 48 項裝載現象中僅 17 項通過、評分對盤子刀叉尚不可信;對關心 agent 基準與模擬可信度的人有用。
原標題:DishwasherBench – Can Frontier Models Stack a Dishwasher?
閱讀原文
| 評分 | 58 / 55(平均 56,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
新基準 VA-Bench 測 12 個多模態模型,完整任務成功率約一半
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型,發現目標識別與定位可達 100%、操作語義理解接近 100%,但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片,但拿不到物體座標與專家軌跡,需自行決定是否消耗步數切換視角,並直接給出移動距離、旋轉角度與夾爪開合時機。
南洋理工研究:Harness 選擇需與模型任務聯合評估
新加坡南洋理工大學安波團隊發布報告《Finding the Right Fit》,用 4 套可配置 Harness(OpenHands、DSH、PI、openJiuwen)交叉 5 個模型、3 個任務集,共得到 66 項結果。結論是 Harness 好壞並非固定屬性,同一模型換 Harness 後排名可能反轉,原生搭配也不一定最優;成本更高未必得分更好。
@MistralAI: Le Chonk cooked on visual grounding.
Mistral 官方帳號公布新模型 Le Chonk 在視覺定位基準 Dense 200 上取得 42% 的成績,並稱其領先於前沿閉源模型。該模型的能力是精確指出影像中各個物體所在的位置。
Dyna 發布 Dyna-2.1,疊餐巾 24 小時成功率 99.4%
Dyna Robotics 在 Dyna-2 世界動作模型之後推出物理機器人 agent Dyna-2.1,在餐廳疊餐巾任務上連續執行 24 小時、成功率 99.4%,包括把整疊餐巾碰倒後自行恢復。Dyna-2 預訓練自超過 100 萬小時人類影片,官方稱在人類資料上跨四個數量級呈現新的 scaling law。聯合創始人 Jason Ma 在 AIE NYC 訪談中表示,機器人可從最少 45 分鐘演示中學會新任務,目前已在鼎泰豐每天疊數千張餐巾。
六款 AI 決策模型吃豆人對戰,基準與排行榜開源
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂,每個模型各跑 100 局,並公布了排行榜。測試倉庫已開源,任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行,一局成本約 2 美分,併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂,作者稱打破 jev 的高分出乎意料地難。