清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。
給出統一的分佈級監督框架,並公開 8 卡 23.2 小時後訓練 14B 流式影片模型的預算與人類盲評結果,對研究少步生成與影片生成後訓練的人有直接參考價值。
原標題:从一步生图到流式视频:清华团队探索「样本分布训练」
閱讀原文
| 評分 | 76 / 75(平均 75,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
UniEvo-VL:多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。
NTM 提出:少步擴散每步用條件歸一化流,保留精確似然
論文提出 Normalizing Trajectory Models(NTM),把擴散模型的每個反向步建模為表達力強的條件歸一化流,並支援精確似然訓練。擴散取樣通常依賴大量細小的高斯去噪步,壓縮到少數粗粒度轉移時該假設不再成立;此前的少步方法用蒸餾、一致性訓練或對抗目標解決,但都放棄了似然框架。架構上,NTM 在每步內組合淺層可逆塊與深層並行結構。
阿里開源 Qwen-Image-2.1-Turbo:8 步去噪出圖與編輯
阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;
研究指離散擴散模型單步生成依賴條件獨立假設
一項研究分析了離散擴散模型(含 remasking 與 uniform-state 取樣器)的單步生成機制,指出一步生成只有在所寫位置在已固定 token 條件下相互獨立時,才與訓練分佈匹配。研究證明,任何逐位置分佈的乘積都無法匹配存在依賴關係的 token 組,而畫素、音素、詞等常見領域中的 token 本身存在固有依賴。
用 ML Intern 幾天做出 6 個模型,9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。