微軟提出 Code Video Model,用可執行程式碼控制影片生成
微軟團隊提出 Code Video Model,用可執行程式碼控制影片生成:由 Coding Agent 把提示詞轉成 Three.js 程式,統一描述幾何佈局、物體運動、相機軌跡與事件時序,渲染出低多邊形預演影片不到一分鐘即可驗證鏡頭設計,參考圖負責指定外觀。方法不改動影片模型(MiniMax-H3)引數,採用免訓練的階段化條件排程,在去噪前約 25% 階段引入預演約束、隨後撤去,避免成片被預演的合成風格主導。
依意思最接近的 30 筆
微軟團隊提出 Code Video Model,用可執行程式碼控制影片生成:由 Coding Agent 把提示詞轉成 Three.js 程式,統一描述幾何佈局、物體運動、相機軌跡與事件時序,渲染出低多邊形預演影片不到一分鐘即可驗證鏡頭設計,參考圖負責指定外觀。方法不改動影片模型(MiniMax-H3)引數,採用免訓練的階段化條件排程,在去噪前約 25% 階段引入預演約束、隨後撤去,避免成片被預演的合成風格主導。
VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座,在多輪互動中呼叫檢索、生成與驗證工具,先以 16K 教師軌跡監督微調,再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上,Toolset 1 配置得 75.6 分,比基礎生成器 56.5 分高出 19.1 分;智慧體策略不變、僅升級生成工具後達 86.1 分,人類評估中 84.3% 的判斷偏好該配置。
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
Simon Fraser University、Meta Reality Labs 等團隊提出免訓練框架 Fluid-Gen-Zero,讓預訓練影片生成模型接入物理模擬器來生成符合物理規律的流體影片,且無需更新模型引數。它先用 Genesis 引擎模擬出物體與流體的運動軌跡,再由 VLM 決定影片分段時機,並在潛空間中對物體區域施加較強約束、對流體區域採用更柔和的約束。
輝達與麻省理工學院團隊在 Hugging Face 放出影片增強專案 Open-H3-Regenerate-2K 的模型權重,配套推理程式碼開在 NVlabs/Sana 倉庫,可自行部署把低解析度影片草稿重生成到 2K、最高 4K。方案基於 MiniMax H3 基礎模型,凍結 Transformer 主幹與影片 VAE,只訓練細化 LoRA,推理時經三步去噪補充畫面細節。
Genspark 上線影片 Agent 工作臺 Media Studio,接入 20 多家廠商的 70 多個模型版本。大語言模型擔任導演,可選 DeepSeek V4.1 Flash、Claude Opus 5.5 或 Claude Fable 5.1,並排程 Seedance 2.5、Kling、Veo 生成畫面,由 ElevenLabs 等模型配音。故事聖經負責儲存人物與場景設定,先出 480p 草稿再升 1080p,並支援對指定片段區域性重拍。
清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval,稱其為全球首個流式互動影片生成評測基準,覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板:模型能否穩定生成畫面,與能否可靠執行連續指令是兩回事;最好的數字人模型 Vidu S2-Avatar 綜合分 93.98,但指令跟隨僅 36.90;世界生成最高分 MemFlow 僅 33.36。
Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。
生數科技推出影片模型 Vidu Q4 Preview,是其面向創作者的首個預覽版本,首發價格 0.09 元/秒起,同樣預算最高可生成 5 倍內容。該版本主打人物演繹、鏡頭語言與複雜視效,支援最多 15 張參考圖、3 段參考音訊輸入,以及 2K、4K 畫質輸出。官方資料顯示其圖生影片速度約為同類模型的 2 倍,5 秒影片最快約 110 秒完成,正式版上線時間尚未公布。
Murea Labs 的 Murea-Pro 以 81.13 分登頂互動影片世界模型評測 WBench Full-289,其輕量開源版 Murea-Fast 在 OpenS2V-Eval 以 64.98 分位列參評開源模型第一。Murea-Pro 在 RTX PRO 6000 上 3.6 秒生成 5 秒有聲影片,即時因子約 0.71;經 4 步蒸餾與系統最佳化,8 張 H20 上的生成耗時從 231.6 秒降至 6.96 秒,累計加速 33.3 倍。
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
Artificial Analysis 的 Video Arena 文生影片排行榜上,影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一,這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練,在評測的 10 項細分能力中 7 項超越基座模型,音訊同步與物理規律排名第一,光照與材質、鏡頭控制排名第二。
一位使用者僅向 Opus 5.5 提供創意、工作資料夾和音樂檔案,模型便自主完成了從調研到成片的全流程。它檢索了四年 AI 發展資料與素材,擷取文章和介面截圖,編寫 HTML 與動畫程式碼,用 Playwright 渲染畫面、FFmpeg 合成並加入音效,最終輸出完整影片。
Canva 推出首個自研 AI 影像模型 Canva Craft,採用兩階段架構,先規劃設計方案再生成影像,官方稱這帶來更高的精度、一致性與可控性。該模型支援最高 2K 解析度和 30 多種寬高比,除社交媒體與營銷素材外,還可生成寫實場景、數字藝術與環境影像。它直接對標 OpenAI、微軟和 Google 的影像生成模型。
Pollo AI 推出影片創作 Agent,呼叫 OpenAI 的 GPT-5.6、GPT-6 Astra 與 GPT-Image-2.5 完成從創意到成片的全流程。系統用 GPT-5.6 做任務路由,GPT-6 Astra 負責敘事與分鏡等複雜推理,影像統一交給 GPT-Image-2.5,官方稱使用者挑選或切換模型的時間減少 50% 以上。平台已有超 2600 萬使用者,30% 的創作會話從模板開始;
VAST 正式開源即時世界模型 EdenLive,同步開放模型權重、推理程式碼、技術報告與端到端 Demo。它把世界狀態交給上游互動系統維護,自身只做即時渲染:單張消費級 RTX 5090、720P 下,5B 模型生成速度超 24FPS,端到端延遲百毫秒級,可連續生成分鐘級畫面。模型接收參考畫面、目標首幀與提示詞三類輸入,支援寫實、二次元等畫風,可用於遊戲原型預覽、影片重渲染與具身資料增強;
Google 發布 Genie 4 世界模型,可生成約兩分鐘的可互動體驗,時長比上一代 Genie 3 的一分鐘翻倍。官方列出的四項更新包括:世界更真實、可用自然語言提示即時修改場景、支援生成音訊,以及底層改用 Gemini 3.8 Flash 輔助模擬。Google 稱其適用於影視預視覺化、遊戲創意原型和機器人訓練場景。
Canva 推出首個自研影像生成模型 Canva Craft,所有使用者可在 Dream Lab 標籤頁使用,也可通過 Canva API 呼叫,並計劃經 MCP 接入 ChatGPT、Gemini 等第三方聊天機器人。模型分兩階段生成:先解析提示詞並規劃元素空間關係、相對大小、視覺層級與文字資訊,再輸出最高 2K、約 30 種寬高比的影像。它以 Canva 模板等設計圖而非照片訓練,文字更清晰、支援區域性精確編輯,還能用 Magic 轉成可編輯的分層設計;
Meta 提出相機可控影片世界模型 World-T³,用測試時訓練把滑出上下文視窗的歷史觀測寫入快速權重,緩解長時生成中的失憶。在 120 段“去程+返程”基準上,重訪 PSNR 從 13.52 dB 升至 18.31 dB,絕對旋轉誤差從 3.344°降至 1.075°。經雙教師蒸餾的 4 步模型在單張 B200 上以 1280×704 解析度達到 20.6 FPS,生成中記憶持續更新,並在 6 項重訪一致性指標上均列第一。
Google 發布新一代世界模型 Genie 4,原生多模態,在生成畫面的同時產出音樂、環境音與互動對話,並支援用自然語言即時修改天氣、鏡頭或加入人物物體。它建立在 Gemini 家族能力之上:Gemini Omni 讓模擬貼近真實世界的外觀與行為,其他 Gemini 模型負責維持場景的連貫與連續。
Google DeepMind 發布世界模型 Genie 4,支援用鍵盤操控角色與鏡頭,並用自然語言即時改變天氣、新增物體,是該系列首個原生生成即時音訊的版本。Gemini 深度參與模擬:Gemini Omni 提供真實世界視覺與行為知識,Gemini 3.8 Flash 負責拆解任務、逐步檢查並調整計劃,Google 稱這一方向為混合世界模型。
Elorian 發布首個模型 Glimpse,主打「視覺草稿空間」:模型在推理過程中可反覆回到原圖,裁剪區域性、抽取影片幀,或執行程式碼去測量和比較。該模型以研究預覽形式上線,提供 API,聊天介面需排隊;輸入每百萬 token 0.60 美元、輸出 3 美元。Elorian 稱其用幾百塊 GPU 訓練、規模遠小於對標的前沿模型,卻在科學圖表推理和短影片描述上超過 GPT-6 Astra。首批目標是機器人、科研、媒體等握有大量影片的公司。
OpenAI 表示,文字水印用於回答一個問題:這段文字是否很可能由其模型生成。水印在生成時嵌入不可見的統計訊號,檢測器可據此識別,不會新增可見標記或特殊字元。它無法說明原作者或版權歸屬,也不能識別個人、組織、帳號、對話或提示詞。OpenAI 稱測試中水印未影響模型能力、速度以及回答的閱讀感受。
安全研究者指出,Google 與 OpenAI 最新的影像生成模型能力提升的同時,攔截色情輸出的表現反而可能變差。Google 今年 7 月對美國、澳大利亞和英國網民的聯合研究發現,未經同意的色情內容多經私信、文字或私人云盤傳播,不易被檢測或舉報。Google 研究者據此認為,最關鍵的干預點仍在源頭,即用於生成虛假性影像的 AI 工具。
Vercel 資料顯示,TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用,覆蓋面接近第二名 Sonnet 5.5 的兩倍,是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布,通過限定候選輸出降低推理成本、提升速度,適合大批次資料分類,Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
VAST 將世界模型專案 Project Eden 的即時生成式渲染器 EdenLive 全面開源,涵蓋不同尺寸模型權重、推理程式碼與技術報告。該模型以簡化 Proxy 或參考影片為控制訊號,結合目標首幀與文字提示詞持續生成寫實或風格化畫面,5B 引數在單張 RTX 5090 上以 720P 輸出超過 24 FPS,端到端延遲約百毫秒,可連續生成到分鐘級。
Google DeepMind 官方帳號提到,Apptronik 的 Argon 能把影片變成物理 AI 的訓練場,將原本需要數週的人工建模壓縮到幾個小時。這條推文以回覆 @Apptronik 的形式發出,正文只有這一句說明和一個 goo.gle 短連結,沒有披露涉及的機器人平台、影片資料規模或可用範圍。資訊發布於 2026 年 10 月 13 日。
Ben Affleck 本週因多段訪談影片走紅,他在其中講解神經網路、transformer、張量等概念,並稱自己會寫點 Python。他透露做法是拿開源模型微調:解凍權重、只訓練最後一層「電影感」層,讓劇組達到製片標準,該技術已用於其電影《Animals》後期。他創立的 AI 影視公司今年被 Netflix 收購,報導金額 5.87 億美元,他本人稱這個數字不準確。他還表示不擔心 AI 接管影視業,更擔心學生的習得性無助與大學 A 成績三年上升 30%。
牛津大學、莫納什大學與布里斯托大學等團隊提出互動式影片世界模型 Oneira,由 Coding Agent 維護的 World State Table 單獨記錄場景中每個物體的 3D BBox 與互動狀態,從而精確改變指定物體,並讓改變後的狀態在後續影片中持續保留。
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;