AISpot

華中科大與地平線提出 Multimodal Flow 全連續多模態架構

機器之心新聞報導模型研究開源

華中科技大學王興剛團隊與地平線等機構提出 Multimodal Flow,讓語言和視覺各自保留在連續嵌入空間,共享同一個 Flow Matching 目標,無需視覺 Token 化,也無需維護兩套系統。他們從零預訓練的 1.6B 模型 MF-1 僅用 150B Tokens,在 GenEval 拿到 0.821、DPG-Bench 83.44,VQAv2 72.6、MMBench 67.2;

它給出全連續這第三條統一多模態路線,並用 1.6B 小模型在同等預算下實測超過混合與全離散架構,還附帶開原始碼,對做多模態預訓練與統一生成模型的人最有參考價值。

原標題:不做Token化,也不搞双系统!多模态模型有了第三条路
閱讀原文

評分78 / 76(平均 77,門檻 65)
狀態精選

相關報導

機器之心● 精選AI 評分77

人大高瓴與百度等開源 LoopVL:迴圈 Transformer 擴充套件到視覺語言模型

人大、百度、清華等機構開源視覺語言模型 LoopVL,把迴圈 Transformer 擴充套件到多模態:僅 1B 語言主幹、0.14T 訓練 token,就在 MMMU-Pro、MathVision 等評測上追平或超過用約 36T token 訓練的 Qwen3.5-2B、InternVL3.5-2B。模型以 32 層引數展開 128 次層呼叫(H2L3×2),影像只編碼一次,後續迴圈持續更新視覺—語言狀態;

機器之心● 精選AI 評分73

FlowMAS 用 GFlowNet 自動學習多智慧體架構,被 NeurIPS 2026 錄用

廈門大學 ASC 實驗室的 FlowMAS 被 NeurIPS 2026 錄用:它用生成流網路(GFlowNet)把多智慧體工作流拓撲的設計變成可學習的生成問題,讓 AI 自動學出團隊的排兵佈陣。方法引入好奇心驅動與資訊引導兩個模組,在搭建每一步給中間結構發過程性獎勵,後者用資訊理論衡量多路 AI 輸出的協同與冗餘。在 6 個基準、3 種模型底座上,它比手工設計平均高 8.17 分、比自動化方法高 6.12 分;

機器之心● 精選AI 評分75

清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型

清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。

機器之心● 精選AI 評分75

清華聯合輝達等發布 StreamEval,首個流式互動影片榜單覆蓋 38 個模型

清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval,稱其為全球首個流式互動影片生成評測基準,覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板:模型能否穩定生成畫面,與能否可靠執行連續指令是兩回事;最好的數字人模型 Vidu S2-Avatar 綜合分 93.98,但指令跟隨僅 36.90;世界生成最高分 MemFlow 僅 33.36。

機器之心● 精選AI 評分75

NV-CoT 改用連續座標做視覺思維鏈,入選 NeurIPS Oral

南洋理工大學、中國科大、新加坡國立大學與微軟研究院提出 NV-CoT,讓多模態大模型直接輸出連續數值座標來框選影像區域,取代把邊界框寫成文字 token 的做法,該工作入選 NeurIPS 2026 Oral。方法在原有輸出頭之外加四個輕量線性層做座標迴歸,SFT 階段用迴歸損失,強化學習階段用 Laplace 分佈取樣邊界框,無需中間框標註。在 Vis-CoT-363K 驗證集上定位 IoU 從 47.3 升至 59.5;