商湯等提出 MT Forcing,改善多輪影像編輯的畫質退化
商湯研究院、香港科技大學 MMLab 等聯合提出多輪影像編輯訓練方法 MT Forcing,用於緩解自迴歸擴散模型在連續編輯中的畫質退化與內容漂移。方法由 Single-Turn DMD 與 Teacher-Forcing Guidance 兩部分組成:前者讓學生模型按自身輸出逐輪展開、與單輪教師的輸出分佈匹配,後者用參考編輯軌跡約束跨輪的細節一致性。
論文給出連續八輪編輯的量化改善(第八輪指令遵循近乎翻倍,相鄰輸出幾何位移降約 88.4%),並開原始碼與權重,做多輪影像編輯和自迴歸擴散訓練的人可直接復現。
原標題:多轮图像编辑如何保住画质与细节?商汤、港科MMLab等联合提出MT Forcing
閱讀原文
| 評分 | 72 / 74(平均 73,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。
阿里開源 Qwen-Image-2.1-Turbo:8 步去噪出圖與編輯
阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;
UniEvo-VL:多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。
llama.cpp b11747 讓 mtmd 對齊 Qwen-VL 影像縮放
llama.cpp 發布 b11747 建置,核心改動是讓 mtmd 的多模態預處理與 transformers 的 Qwen-VL resize 行為保持一致,避免同一張圖片在兩邊得到不同的縮放與切圖結果。
NTM 提出:少步擴散每步用條件歸一化流,保留精確似然
論文提出 Normalizing Trajectory Models(NTM),把擴散模型的每個反向步建模為表達力強的條件歸一化流,並支援精確似然訓練。擴散取樣通常依賴大量細小的高斯去噪步,壓縮到少數粗粒度轉移時該假設不再成立;此前的少步方法用蒸餾、一致性訓練或對抗目標解決,但都放棄了似然框架。架構上,NTM 在每步內組合淺層可逆塊與深層並行結構。