輝達開源 PixelUMM，無需 VAE 和 ViT 統一影像與影片理解生成
輝達與滑鐵盧大學開源 PixelUMM，一個不依賴 VAE 和 ViT、直接在畫素空間統一影像與影片理解及生成的多模態模型。它用單層線性投影把影像 patch 和影片 tubelet 接入以 Qwen3 初始化的 Mixture-of-Transformers 主幹，理解與生成共享注意力，沒有視覺編碼器、VAE 或離散視覺 tokenizer，程式碼和權重均已開源。模型可直接生成 832×464、96 幀（4 秒、24fps）影片；
用單層線性投影取代 ViT 和 VAE，把影片也納入畫素空間統一建模，並開原始碼與權重；對關注統一多模態架構與畫素空間生成的研究者和開發者有參考價值。
原標題：告别VAE和ViT! 英伟达开源PixelUMM, 在像素空间统一视频图像理解与生成
閱讀原文
| 評分 | 78 / 78（平均 78，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
輝達與 MIT 開源基於 MiniMax H3 的 4K 影片重生成方案
輝達與麻省理工學院團隊在 Hugging Face 放出影片增強專案 Open-H3-Regenerate-2K 的模型權重，配套推理程式碼開在 NVlabs/Sana 倉庫，可自行部署把低解析度影片草稿重生成到 2K、最高 4K。方案基於 MiniMax H3 基礎模型，凍結 Transformer 主幹與影片 VAE，只訓練細化 LoRA，推理時經三步去噪補充畫面細節。
微軟提出 Code Video Model，用可執行程式碼控制影片生成
微軟團隊提出 Code Video Model，用可執行程式碼控制影片生成：由 Coding Agent 把提示詞轉成 Three.js 程式，統一描述幾何佈局、物體運動、相機軌跡與事件時序，渲染出低多邊形預演影片不到一分鐘即可驗證鏡頭設計，參考圖負責指定外觀。方法不改動影片模型（MiniMax-H3）引數，採用免訓練的階段化條件排程，在去噪前約 25% 階段引入預演約束、隨後撤去，避免成片被預演的合成風格主導。
免訓練框架 Fluid-Gen-Zero 讓影片模型接入物理模擬器
Simon Fraser University、Meta Reality Labs 等團隊提出免訓練框架 Fluid-Gen-Zero，讓預訓練影片生成模型接入物理模擬器來生成符合物理規律的流體影片，且無需更新模型引數。它先用 Genesis 引擎模擬出物體與流體的運動軌跡，再由 VLM 決定影片分段時機，並在潛空間中對物體區域施加較強約束、對流體區域採用更柔和的約束。
清華聯合輝達等發布 StreamEval，首個流式互動影片榜單覆蓋 38 個模型
清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval，稱其為全球首個流式互動影片生成評測基準，覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板：模型能否穩定生成畫面，與能否可靠執行連續指令是兩回事；最好的數字人模型 Vidu S2-Avatar 綜合分 93.98，但指令跟隨僅 36.90；世界生成最高分 MemFlow 僅 33.36。
UniEvo-VL：多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。