DexRoam 用人類全身示範訓練移動雙臂靈巧操作
香港科技大學、北京智源研究院、北京大學等提出 DexRoam，用第一視角人類全身示範學習移動雙臂靈巧操作，工作被 CoRL 2026 接收。系統用 Meta Quest 3 加頭戴 ZED Mini 相機採集全身動作，經本體、語義、時間三階段對齊後與機器人遙運算元據共同訓練 VLA 策略。在 GR00T N1.7 與 π₀.₅ 的五項真機任務中，人類預訓練加聯合微調把平均成功率從 29% 和 32% 提升到 56% 和 57%，機器人示範減半仍接近完整基線。
把第一視角人類全身動作對齊後直接當作機器人監督，真機平均成功率從約三成升到五成以上，機器人示範減半仍可持平基線，對做 VLA 與機器人資料採集的研究者最有參考價值。
原標題：CoRL 2026｜移动双臂灵巧操作，也能从人类示范中学？
閱讀原文
| 評分 | 65 / 76（平均 70，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
港大 EgoWild2Dex 用 538.9 小時人類第一視角資料訓練機器人
香港大學 MMLab 提出 EgoWild2Dex，直接用 538.9 小時未經編排的人類第一視角資料訓練雙臂機器人，每個下游任務只需不到 1 小時真機資料，拆快遞、用熱熔膠槍固定手辦、製作冷飲等長時序任務平均成功率達 96.7%。方法核心是 GeoFormer 幾何變換模組，把晃動的人類視角對齊到機器人視角，處理速度比傳統投影加修復流程快 21.9 倍，再將人類、手套與真機資料統一到機器人動作空間做漸進式聯合訓練。
SkeLAM 用骨架約束潛在動作，實現零樣本跨形態運動遷移
哈工大（深圳）與新加坡國立大學等提出 SkeLAM，它基於 Cosmos-Predict2.5-2B、用約 10 小時機器人互動資料訓練，通過骨架監督影片中的潛在動作，實現零樣本跨形態運動遷移。遷移時模型引數全部凍結；輸入人類演示影片和機器人場景圖片，生成的機械臂就能復現演示中的運動方向。在 DROID 評測中，它的末端軌跡誤差 ADE 從 51.11 降至 41.15 畫素，比 DreamDojo 低 19.5%，LPIPS 從 0.1473 降至 0.1310。
RoboCoach 用世界模型定位薄弱子任務，Franka 真機成功率從 13.3% 升至 75%
RoboCoach 在固定人類示範預算下經過三輪定向補教，把 Franka 長程任務成功率從 13.3% 提升到 75.0%，AgileX 從 40.0% 提升到 83.8%；同樣預算的均勻採集基線只達到 30.0% 與 47.5%。它用基於 Wan2.2 TI2V-5B、約 500 小時互動資料訓練的世界模型 CoachWorld 讓當前策略閉環試跑，由進度判別器找出首個超時子任務，再據此定向示教，並且只更新對應技能的 LoRA 專家。
清華髮布 HandsOn 靈巧手基準：66 項任務，最佳策略成功率 29.1%
清華大學丁寧團隊聯合北郵、北大等發布靈巧操作模擬評測基準 HandsOn，包含 66 項人工驗證任務、1.8 萬條人類遙操作示範，支援 5 種機械臂、6 種靈巧手和約 200 種物體資產。在有示範的 Core-50 上，9 種受訓方法中最佳多工策略 OpenWAM 平均成功率僅 29.1%；在無目標任務示範的 Transfer-16 上，8 種多工策略成功率均低於 1%。
董豪團隊提出 HIL-UMI：人類示範時即可採集機器人後訓練資料
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI：人手持夾爪示範時，模型同步預測動作並標出與人類操作的分歧，從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型，在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務，三輪更新後平均任務進度分數從 62.3 升至 94.8，同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍，最終得分 96 比 91。