哈佛輝達等用 Coding Agent 讓機器人自主探索,五大基準領先 37.4 點
哈佛、輝達、伯克利、MIT 與斯坦福團隊提出 RAX:讓通用 Coding Agent 直接接入機器人的感知與控制介面,靠自主探索把成功決策寫成可執行程式,模型引數全程凍結。
依意思最接近的 30 筆
哈佛、輝達、伯克利、MIT 與斯坦福團隊提出 RAX:讓通用 Coding Agent 直接接入機器人的感知與控制介面,靠自主探索把成功決策寫成可執行程式,模型引數全程凍結。
Manifold AI 流形空間的 WorldScape R²SI 框架在機器人學習基準 RoboDojo 的 Agent Track 登頂,超過 GPT-6-Astra 與輝達 GR00T-N1.7。該框架由內外雙層 Agent 組成,內層執行任務,外層跨輪次復盤、修訂 Skill 並訓練 reactive model(WSP)。在 push_T 任務中,動作步數從首輪 723 步(超出 600 步預算)降至 596 步,再降至 389 步,降幅約 35%。
Artificial Analysis 於 10 月 14 日發布 AA-Robotics v0.1,首次讓 GPT、Claude、Gemini 等前沿模型藉助程式設計 Agent 操控真實機械臂,零樣本完成倒水、寫字、搭積木等八項任務。GPT-6 Astra 以 69.4 分居首,GPT-6.1 Sol 64.6 分,Gemini 4 Argon 55.3 分,Claude Opus 5.5 與 Fable 5.1 分別為 48.8 和 46.3 分。
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。
在輝達負責機器人平台產品營銷七年的 Amulya Vishwanath 轉做風投後認為,機器人目前仍處於「樂高時代」:執行器、機械手、軟體和安全標準等基礎構件還在重建。她由此判斷機器人尚未迎來自己的 ChatGPT 時刻,這與「通用基礎模型即將引爆機器人」的看法相反。
上海交大、UC 伯克利、斯坦福、MIT、Google、微軟、輝達、小米等機構聯合發表論文《Who Improves the Robot? Toward Physical Recursive Self-Improvement》,提出 Physical RSI 概念,並用 L0-L5 分級區分「機器人任務做得更好」與「改進方法本身變得更有效」。論文還梳理了 Harness 適應、模型訓練、安全與驗證的全鏈路路徑,指出目前仍缺少能檢驗遞迴增益的基準,並列出六個待解問題。
舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;
在輝達領導機器人平台產品營銷七年的 Amulya Vishwanath,如今轉而投資 Physical AI,並認為機器人行業仍處於“樂高時代”、尚未迎來爆發。這一判斷與“通用基礎模型將推動機器人突破”的流行看法相反:執行器、機械手、軟體與安全標準等基礎構件仍在重建,而 Physical AI 的內涵也不止於機器人。
密西根大學團隊創立的 Laplace Intelligence 正在為機器人、自動駕駛等物理 AI 做自動化紅隊測試:用 AI 智慧體在高保真模擬中自動設計罕見極端場景,在部署前找出失效點。模擬環境基於輝達 Cosmos 世界模型的後訓練版本搭建,可按語言指令即時改造街景,並讓其他交通參與者對環境做出互動反應。
Aether AI 發布因果驅動的機器人智慧系統 CRIS-0,演示中面對人類突然移走咖啡袋、燈光干擾、往盤裡放飲料罐、關門時伸手等干擾均能即時調整,反應速度達 0.1s 級。它把機器人智慧分成兩層:因果驅動機器人 Agent 負責任務拆解、階段驗證與失敗恢復,因果世界模型預測動作帶來的物理變化。相比端到端模型,它在抗干擾、模糊指令和長程任務上更穩;團隊稱該路線還可延伸到生物製藥、新材料研發,更底層的 Causation Transformer 仍在驗證。
南洋理工大學、清華大學、上海交大等十餘家機構聯合發布綜述,以「感知—推理—行動」為主線梳理近 200 篇具身智慧可供性學習工作。綜述將研究分為可供性感知(2D、3D、互動驅動、可泛化)、可供性推理(關係式、語言中心、智慧體式)與可供性引導行動(分層執行、策略學習融合)三個層次,並彙總五類資料集與 IoU、mAP、aIoU 等評測指標。作者指出視覺預測準確並不等於機器人能成功執行,未來評測需納入機器人本體約束與物理可行性。
總部位於安娜堡的 Laplace Intelligence 為機器人和物理 AI 做自動化紅隊測試,用 AI 代理自動設計極端場景,在部署前找出並修復問題。其模擬基於 Nvidia Cosmos 的後訓練版本,可按真實尺度重建從亞利桑那高速到巴黎人行橫道的場景,支援用語言提示即時改動設定,交通資料來自 TomTom,場景中其他參與者也會即時避讓。客戶包括五十鈴、自動駕駛卡車公司 Bot Auto 與 Nvidia,並與 T-Mobile 在聖何塞合作智慧城市試點。
南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
RoboCoach 在固定人類示範預算下經過三輪定向補教,把 Franka 長程任務成功率從 13.3% 提升到 75.0%,AgileX 從 40.0% 提升到 83.8%;同樣預算的均勻採集基線只達到 30.0% 與 47.5%。它用基於 Wan2.2 TI2V-5B、約 500 小時互動資料訓練的世界模型 CoachWorld 讓當前策略閉環試跑,由進度判別器找出首個超時子任務,再據此定向示教,並且只更新對應技能的 LoRA 專家。
10 月 20 日,千訣科技在南京首屆物理 AI 與世界模型大會上發布預測式世界模型 Polibrain,已在四足、人形、輪式、雙臂等機器人形態上開展適配。該模型不生成未來畫面,而是在潛在表徵空間預測真正影響任務的狀態變化,並串聯感知、決策、執行與反饋形成閉環。千訣稱其與清華團隊 2025 年在 ICML 發表的隱變數可辨識性研究,比 LeCun 團隊相近論文早約一年。公司不造機器人本體,以松耦合架構讓不同形態機器人共享對世界的理解。
輝達在 2026 年 6 月推出 Nvidia Halos for Robotics,把面向自動駕駛的 Halos 安全架構擴充套件到機器人領域。Halos 於 2025 年發布,用硬體和軟體工具幫開發者為自動駕駛汽車等自主系統設定安全護欄,機器人版則覆蓋倉庫自主移動機器人、工廠內人形機器人乃至手術機器人。輝達機器人生態與邊緣計算負責人 Amit Goel 表示,隨著 AI 模型與機器人硬體能力提升,安全被視為下一個瓶頸。
OpenAI 宣布推出 Rosalind Academic Plan(學術計劃),面向實驗室開放,官方給出資格查詢與申請入口。相關介紹與申請方式已發布在 OpenAI 官網頁面。這條推文未披露價格、額度、覆蓋機構範圍或生效時間等細節。
Sergey Levine 在播客 The Peterman Pod 中表示,機器人硬體已「足夠好」,當前最大挑戰是建立讓機器人理解外部世界的決策迴圈,而非控制身體。他認為正確順序是先積累紮實的具身經驗,再接入影片等其他來源資料,與先用網際網路影片訓練的路線相反;機器人對可靠性的要求高於大語言模型,強化學習尚未解決從 95% 到 100% 的最後一步。
正行創新 10 月 8 日在亞太零售商大會(APRCE 2026)發布零售開放場景的 Physical AI 24/7 人機協作方案,由機器人本體與統一管理平台 M1 組成,無需改造門店貨架與動線。首批本體為雙足人形機器人 H1(支援 20 多種語言、45 種表情、36 種手勢,提供開放 API)和搬運理貨輪臂機器人 C1(窄體全向底盤,作業高度覆蓋 100mm 至 1750mm 以上,遇障緊急制動距離小於 10cm)。
研究團隊提出具身 RSI 系統 Recursia,通過內外雙層迴圈讓機器人從執行經驗中改進共享執行棧,在 LIBERO-Pro Long 零樣本長時操作的位置/任務擾動下成功率達 28.4%/53.4%,比輝達 ASPIRE 高 5.8/15.1 個百分點。共享棧分為工具、技能、交接、驗證四層,候選修改需經通用性檢查、機制測試及父子版本配對比較。
中科大系公司白澤通境發布溯因式世界模型 AWM,並開源論文與程式碼,配合自研端側推理引擎 BAIZ-RUN 把模型壓進機器人本地執行。AWM 從無標註影片學習,在 Push-T 任務上以 2000 條軌跡達到 75% 成功率,約為 Causal-JEPA 所需資料的七分之一,資料加到 14728 條時成功率約 92%。
Dream Labs 發布世界動作模型 Dream-1,通過公開 API 向全球開放,接入新的雙臂機器人即可開箱執行任務,無需微調、示教或機器學習經驗。公司同時結束隱身狀態,宣布完成 9000 萬美元種子輪融資;官方演示覆蓋 Hugging Face、KAIST、AgiBot 等 13 家機構的機器人,任務包括疊衣服、清理餐具、裝箱等。技術基礎是 2026 年 2 月的 DreamZero 論文,用 30 分鐘機器人資料後訓練即可零樣本泛化;
正行創新在 APRCE 2026 發布面向零售開放場景「人機協作」的 Physical AI 解決方案,推出雙足人形機器人 H1 與輪臂式搬運理貨機器人 C1,無需改造貨架與動線即可部署。官方稱機器人可自主完成 99% 的任務,自研輕量級世界動作模型 SLM-0.5 在 LIBERO 基準平均任務成功率 98.6%,推理速度較主流方案提升 24 倍。方案計劃 2027 年正式商業化,客戶可直接採購或按 RaaS 訂閱,覆蓋硬體、軟體、運維與升級,目前正與連鎖零售企業聯合測試。
商湯聯合大曉機器人、Ropedia、南洋理工大學與東京大學發布報告《Has GPT-6-Astra Achieved Embodied Intelligence?》,對 GPT-6-Astra 做了 12 項模擬評測與 8 個真實機器人平台的系統測試。在允許上下文學習並把動作步數放寬到最多 10 倍後,它在 LIBERO-Long++ 上達 100%、LIBERO-Pro 99.3%、SIMPLE 98.8%;
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI:人手持夾爪示範時,模型同步預測動作並標出與人類操作的分歧,從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型,在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務,三輪更新後平均任務進度分數從 62.3 升至 94.8,同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍,最終得分 96 比 91。
Einsia AI 旗下 Navers Lab 發布 EmbodiedEvo,讓 Coding Agent 在單個 Playground 場景中通過互動積累程式碼 Skills 與文字 Lessons,凍結經驗後交給新 Agent 在未見場景複用,全程不更新模型權重。在具身評測 RoboDojo 上,它以 45.08 平均分、38.95% 成功率超過所有 VLA/WAM 與 Agent 方法;
人大高瓴 GeWu-Lab、智源研究院等提出 ROMA 系統,讓多感測器機器人主動與物體互動來補全物理理解,其 ROMA-7B 模型在 ROMA Bench 的 2100 道題上取得 72.9% 成功率,整體與 GPT-6 Astra 持平,並超過 GPT-5.4 與 Gemini 3.5 Flash。該工作同時開源了覆蓋近 2000 個真實物體、視聽觸力四模態同步採集的互動資料集 ROMI-2K,以及包含單鏈、多鏈和意圖驅動三類任務的評測基準。
Dyna Robotics 在百萬小時人類影片預訓練的 Dyna-2 世界動作模型基礎上,推出實體機器人代理 Dyna-2.1。官方稱其連續 24 小時摺疊餐廳餐巾成功率達 99.4%,中途把整疊餐巾拉倒後也能自行恢復,已在鼎泰豐每天折數千張餐巾。機器人只需約 45 分鐘演示即可學會新任務,採用自研輪式半人形硬體;靈巧手過熱與感測資料缺失仍是主要瓶頸。
2026 年 10 月,具身智慧公司自變數機器人的合肥總部專案簽約落戶合肥高新區,總投資約 3 億元,重點方向是應用型研發、演算法與模型工程化、交付標準化與產品化,並計劃打造「研發—中試—交付—運營」閉環。公司 2025 年 9 月開源 WALL-OSS,2026 年 4 月發布基於世界統一模型架構的 WALL-B 基礎模型;8 月的直播中,雙機雙臂在模擬倉庫連續分揀約一小時,完成 1816 件、準確率超 98%,但被指出與海外 1248 件/小時相比時統計口徑不一致。