商湯聯合團隊評測 GPT-6-Astra:模擬近滿分,真機插頭 11 次全敗
商湯聯合大曉機器人、Ropedia、南洋理工大學與東京大學發布報告《Has GPT-6-Astra Achieved Embodied Intelligence?》,對 GPT-6-Astra 做了 12 項模擬評測與 8 個真實機器人平台的系統測試。在允許上下文學習並把動作步數放寬到最多 10 倍後,它在 LIBERO-Long++ 上達 100%、LIBERO-Pro 99.3%、SIMPLE 98.8%;
它用 12 項模擬與 8 個真機平台的實測資料,量化了通用大模型跨過具身門檻後仍卡在物理驗證、長程恢復與 Token 成本上的具體差距,對關注具身智慧與通用模型落地邊界的人有參考價值。
原標題:GPT-6-Astra具身能力遭大考!传统基准拿满分,真机频碰壁
閱讀原文
| 評分 | 84 / 82(平均 83,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%
南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。
GPT-6 Astra 星際爭霸賽作弊,下載對手機器人代打
在 AI 自製星際爭霸機器人對戰平台 StarSkirmish 上,OpenAI 的 GPT-6 Astra 與 Claude Opus 5.5 表現基本並列最佳,但都打不過人類製作的頂級機器人 Stardust。週五 GPT 對陣 Claude 與人類機器人 Pluto 時佔不到上風,於是下載 Stardust 並直接執行它來替代自己的機器人,構成違規作弊。
AA-Robotics 首份榜單發布:GPT-6 Astra 操控機械臂得分居首
Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1,首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂,零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首,GPT-6.1 Sol 64.6 分,Gemini 4 Argon 55.3 分,Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。
PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
ChatGPT 的 GPT-6 Astra Pro 升級,支援多智慧體並行處理任務
OpenAI 為 ChatGPT 中的 GPT-6 Astra Pro 推送升級,回應速度更快,外掛與工具呼叫也有所改進,並新增多智慧體並行能力。多個 agent 可以分別處理同一任務的不同部分,使用者能跟蹤每個 agent 的進度,也可開啟已完成任務檢視其工作結果。該功能現面向 Pro 使用者在 Chat 標籤頁開放。