免訓練框架 Fluid-Gen-Zero 讓影片模型接入物理模擬器
Simon Fraser University、Meta Reality Labs 等團隊提出免訓練框架 Fluid-Gen-Zero,讓預訓練影片生成模型接入物理模擬器來生成符合物理規律的流體影片,且無需更新模型引數。它先用 Genesis 引擎模擬出物體與流體的運動軌跡,再由 VLM 決定影片分段時機,並在潛空間中對物體區域施加較強約束、對流體區域採用更柔和的約束。
不改權重、外接物理模擬器就能讓三種不同規模和不同控制介面的影片模型物理誤差大幅下降,並給出 43 個流體互動樣本的量化對比,做影片生成與物理模擬結合的人值得看。
原標題:视频大模型不懂物理?接上模拟器,不用训练也能让水花「听话」
閱讀原文
| 評分 | 76 / 76(平均 76,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
微軟提出 Code Video Model,用可執行程式碼控制影片生成
微軟團隊提出 Code Video Model,用可執行程式碼控制影片生成:由 Coding Agent 把提示詞轉成 Three.js 程式,統一描述幾何佈局、物體運動、相機軌跡與事件時序,渲染出低多邊形預演影片不到一分鐘即可驗證鏡頭設計,參考圖負責指定外觀。方法不改動影片模型(MiniMax-H3)引數,採用免訓練的階段化條件排程,在去噪前約 25% 階段引入預演約束、隨後撤去,避免成片被預演的合成風格主導。
港科大等發布首篇自迴歸影片生成 Memory 綜述,110 頁
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
清華聯合輝達等發布 StreamEval,首個流式互動影片榜單覆蓋 38 個模型
清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval,稱其為全球首個流式互動影片生成評測基準,覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板:模型能否穩定生成畫面,與能否可靠執行連續指令是兩回事;最好的數字人模型 Vidu S2-Avatar 綜合分 93.98,但指令跟隨僅 36.90;世界生成最高分 MemFlow 僅 33.36。
清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。
8B 智慧體自主呼叫工具做影片生成,VABench 從 56.5 升到 86.1
VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座,在多輪互動中呼叫檢索、生成與驗證工具,先以 16K 教師軌跡監督微調,再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上,Toolset 1 配置得 75.6 分,比基礎生成器 56.5 分高出 19.1 分;智慧體策略不變、僅升級生成工具後達 86.1 分,人類評估中 84.3% 的判斷偏好該配置。