AISpot

SkeLAM 用骨架約束潛在動作,實現零樣本跨形態運動遷移

機器之心新聞報導研究

哈工大(深圳)與新加坡國立大學等提出 SkeLAM,它基於 Cosmos-Predict2.5-2B、用約 10 小時機器人互動資料訓練,通過骨架監督影片中的潛在動作,實現零樣本跨形態運動遷移。遷移時模型引數全部凍結;輸入人類演示影片和機器人場景圖片,生成的機械臂就能復現演示中的運動方向。在 DROID 評測中,它的末端軌跡誤差 ADE 從 51.11 降至 41.15 畫素,比 DreamDojo 低 19.5%,LPIPS 從 0.1473 降至 0.1310。

它用骨架監督潛在動作,把人類演示影片零樣本遷移到機械臂,且引數全程凍結;在 DROID 上,末端軌跡誤差較 DreamDojo 降低 19.5%,為機器人世界模型給出了可量化的運動表徵方案。

原標題:10小时数据+一段人手视频=?SkeLAM的零样本跨形态迁移
閱讀原文

評分68 / 65(平均 66,門檻 65)
狀態精選

相關報導

機器之心● 精選AI 評分78

港大 EgoWild2Dex 用 538.9 小時人類第一視角資料訓練機器人

香港大學 MMLab 提出 EgoWild2Dex,直接用 538.9 小時未經編排的人類第一視角資料訓練雙臂機器人,每個下游任務只需不到 1 小時真機資料,拆快遞、用熱熔膠槍固定手辦、製作冷飲等長時序任務平均成功率達 96.7%。方法核心是 GeoFormer 幾何變換模組,把晃動的人類視角對齊到機器人視角,處理速度比傳統投影加修復流程快 21.9 倍,再將人類、手套與真機資料統一到機器人動作空間做漸進式聯合訓練。

機器之心AI 評分64

清華團隊 PrismWAM 登頂 RoboTwin 2.0,未用動作資料預訓練

清華大學李一鳴團隊發布世界動作模型 PrismWAM,在雙臂操作基準 RoboTwin 2.0 上以平均成功率 83.67% 位列官方榜首,且未做額外的動作資料預訓練。該模型把語義上下文與物理狀態解耦,動作生成只讀取深度物理表徵,在 Clean-to-Random 高難度遷移評測中成功率達 75.5%。

Hacker News front pageAI 評分71

Dream Labs 發布 Dream-1,可零樣本控制未見過的機器人

Dream Labs 發布世界動作模型 Dream-1,通過公開 API 向全球開放,接入新的雙臂機器人即可開箱執行任務,無需微調、示教或機器學習經驗。公司同時結束隱身狀態,宣布完成 9000 萬美元種子輪融資;官方演示覆蓋 Hugging Face、KAIST、AgiBot 等 13 家機構的機器人,任務包括疊衣服、清理餐具、裝箱等。技術基礎是 2026 年 2 月的 DreamZero 論文,用 30 分鐘機器人資料後訓練即可零樣本泛化;

機器之心● 精選AI 評分80

董豪團隊提出 HIL-UMI:人類示範時即可採集機器人後訓練資料

董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI:人手持夾爪示範時,模型同步預測動作並標出與人類操作的分歧,從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型,在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務,三輪更新後平均任務進度分數從 62.3 升至 94.8,同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍,最終得分 96 比 91。

機器之心AI 評分63

北大團隊 DragMesh 被 IJCV 接收:拖拽一次即可生成 3D 關節運動

北京大學團隊的 DragMesh 被 IJCV 接收。使用者只需在已有 3D 資產上對目標部件拖拽一次,系統就能生成符合關節約束的完整運動軌跡,無需重新生成整個物體。方法上先用 KPP-Net 預測關節型別、軸與原點,再由 Dual Quaternion VAE 並行生成 16 幀軌跡,並通過跨模態語義蒙皮把同一套運動遷移到 Mesh 或 3D Gaussian Splatting。