首個三模態掩碼擴散模型：文字影像音訊聯合預訓練
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
首次把掩碼擴散從單模態、雙模態推進到文字、影像、音訊三模態，並給出縮放定律、噪聲排程與取樣預設值等系統分析，對離散擴散與多模態生成方向的研究者有直接參考價值。
原標題：The Design Space of Tri-Modal Masked Diffusion Models
閱讀原文
| 評分 | 62 / 68（平均 65，門檻 60） |
|---|---|
| 狀態 | 精選 |
相關報導
UniEvo-VL：多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。
Google 發布 EmbeddingGemma 2，740M 引數開源端側多模態嵌入模型
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
清華提出樣本分佈訓練，一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」，用一批生成樣本與參考樣本的整體分佈差異提供監督，取代逐樣本的參考答案，把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64，較 FD-Loss 降低約 23% 和 38%；後訓練 FLUX.2 [klein] 4B 一步文生圖，GenEval 從四步的 0.794 升至 0.900。
NTM 提出：少步擴散每步用條件歸一化流，保留精確似然
論文提出 Normalizing Trajectory Models（NTM），把擴散模型的每個反向步建模為表達力強的條件歸一化流，並支援精確似然訓練。擴散取樣通常依賴大量細小的高斯去噪步，壓縮到少數粗粒度轉移時該假設不再成立；此前的少步方法用蒸餾、一致性訓練或對抗目標解決，但都放棄了似然框架。架構上，NTM 在每步內組合淺層可逆塊與深層並行結構。
Mistral 發布 1T 引數多模態模型 Mistral Large 4
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。