清華提出 ActionOPD:按動作語義線上蒸餾 Agent,無需教師 Token 機率
清華大學提出 ActionOPD,把 Agent 蒸餾從逐 Token 模仿改為在學生實際訪問狀態下對齊教師的語義動作。它只需師生各自取樣文字、判斷動作是否語義等價,無需教師 log-prob 或同源 Tokenizer,因而支援黑盒和跨家族蒸餾。在 τ²-bench 上用 Qwen3-32B 蒸餾 Qwen3-4B,pass¹ 較 Base 提升 10.8 個百分點,pass⁴ 接近翻倍,但略遜於直接約束 Token 分佈的基線;
程式碼與權重已開源,給出僅靠黑盒文字介面、支援跨家族與自蒸餾的 Agent 動作級蒸餾方案,τ²-bench 單次成功率提升 10.8 個百分點,適合做小模型 Agent 落地的開發者。
原標題:蒸馏Agent,学决策而非抄Token!清华提出动作级在线蒸馏ActionOPD
閱讀原文
| 評分 | 67 / 77(平均 72,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Anthropic 反蒸餾防禦使資料竊取減少 90%–99%
Anthropic 公布新的反蒸餾措施,早期證據顯示蒸餾者獲取的資料量減少約 90%–99%。核心做法是讓 Claude 的推理更難提取:把推理先摘要化後,用 Claude Opus 4.8 完整推理訓練出的模型在 SWE-bench Verified 上得 80.4%,僅用摘要訓練則降到 71.8%。文中點名智譜 GLM-5.3 蒸餾美國模型的網路安全能力,並稱發往 Moonshot Kimi 的請求被秘密轉發給 Claude。
清華提出 Jev-LDE:ICL 範例只編輯一次,1-shot 準確率升至 88.1%
清華大學自動化系研究者提出 Local Demonstration Editing(LDE)與小型編輯模型 Jev-LDE,在目標 LLM 推理前對已檢索出的 demonstration set 只做一次 Keep、Delete 或 Replace 編輯,而非重新搜尋最優範例組合。
清華團隊 PrismWAM 登頂 RoboTwin 2.0,未用動作資料預訓練
清華大學李一鳴團隊發布世界動作模型 PrismWAM,在雙臂操作基準 RoboTwin 2.0 上以平均成功率 83.67% 位列官方榜首,且未做額外的動作資料預訓練。該模型把語義上下文與物理狀態解耦,動作生成只讀取深度物理表徵,在 Clean-to-Random 高難度遷移評測中成功率達 75.5%。
論文 HybridAgents:token 減少 35.5%–54.7%,推理快 2.6 倍
arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;
清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。