AISpot

人大高瓴與百度等開源 LoopVL:迴圈 Transformer 擴充套件到視覺語言模型

機器之心官方公告研究開源模型

人大、百度、清華等機構開源視覺語言模型 LoopVL,把迴圈 Transformer 擴充套件到多模態:僅 1B 語言主幹、0.14T 訓練 token,就在 MMMU-Pro、MathVision 等評測上追平或超過用約 36T token 訓練的 Qwen3.5-2B、InternVL3.5-2B。模型以 32 層引數展開 128 次層呼叫(H2L3×2),影像只編碼一次,後續迴圈持續更新視覺—語言狀態;

開源 LoopVL 並給出受控實驗:1B 主幹用 0.14T token 追平用約 36T token 訓練的 2B 公開 VLM,還記錄了跨迴圈視覺注意力重分配(Gini 0.405→0.858)的實測證據,對關注多模態架構與訓練效率的研究者有用。

原標題:Loop Transformer走向视觉语言模型,百度联合清华人大高瓴开源LoopVL
閱讀原文

評分78 / 76(平均 77,門檻 65)
狀態精選

相關報導

機器之心● 精選AI 評分84

清華團隊開源 VeriLoop E2,以外部驗證決定推理狀態提交

清華團隊開源後訓練模型 VeriLoop E2,由獨立外部 Verifier 決定候選狀態能否獲得提交資格,而非依賴模型內部置信度。該模型以 Qwen 3.8-27B 為基礎,面向程式碼、數學與物理三類可外部驗證任務,並同步發布標準權重與覆蓋 BF16 至 IQ1_M 的 GGUF 量化版,其中 Q6_K 為 20.566 GiB,比 BF16 小 58.96%。

機器之心● 精選AI 評分83

蘋果 LensVLM 把長上下文壓成圖片,模型可按需展開原文

蘋果基礎大模型團隊與杜克大學提出 LensVLM,先把長上下文渲染成壓縮頁面影像讓模型瀏覽,再按需展開相關頁面讀取原文,在七項文字問答評測中以 4.3 倍有效壓縮達到 68.9% 平均準確率,接近完整文字參照的 72.4%。模型基於 Qwen3.5-9B-Base 經監督微調與強化學習訓練,15 倍壓縮下準確率由基礎模型的 18.1% 提升到 52.1%;

X @lmstudio● 精選AI 評分77

@lmstudio: Nemotron 3.5 Super VL from @NVIDIAAI is live in LM Studio!

NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。

TechCrunch AI● 精選AI 評分90

Mistral 發布 1T 引數多模態模型 Mistral Large 4

法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4(ML4),暱稱 Le Chonk。它暫不是開放權重模型,只能通過公開的 guardrail 端點訪問,Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練,僅 4000 塊 Nvidia GPU,官方稱比中國競爭對手少兩到三倍。基準結果未公布,最佳化場景包括網路安全、金融和晶片設計;三星上月以 210 億歐元估值領投其 D 輪。

機器之心● 精選AI 評分73

明略科技與中科院開源首個自修改視覺骨幹 VisionHOPE

明略科技與中國科學院自動化研究所聯合提出 VisionHOPE,稱其為首個以自修改學習系統為核心的通用視覺骨幹網路,程式碼、底層運算元與預訓練權重已按 MIT 協議開源。模型在單次前向計算中一邊讀圖、一邊更新決定特徵關聯、學習步長與記憶保留的規則,由五類可更新記憶協同完成。VisionHOPE-S 以 52.9M 引數在 ImageNet-1K 取得 85.2% Top-1 準確率,引數量不到 VMamba-B 的六成、準確率高 1.3 個百分點;