AISpot

NV-CoT 改用連續座標做視覺思維鏈,入選 NeurIPS Oral

機器之心新聞報導研究開源

南洋理工大學、中國科大、新加坡國立大學與微軟研究院提出 NV-CoT,讓多模態大模型直接輸出連續數值座標來框選影像區域,取代把邊界框寫成文字 token 的做法,該工作入選 NeurIPS 2026 Oral。方法在原有輸出頭之外加四個輕量線性層做座標迴歸,SFT 階段用迴歸損失,強化學習階段用 Laplace 分佈取樣邊界框,無需中間框標註。在 Vis-CoT-363K 驗證集上定位 IoU 從 47.3 升至 59.5;

把視覺思維鏈中的框選從文字 token 改為連續動作,同時相容 SFT 與 GRPO,定位 IoU 提升 12.2 個百分點,對做多模態推理和高解析度影像問答的開發者有直接參考價值。

原標題:NeurIPS 2026 Oral|让大模型精准「看图」:NV-CoT用连续坐标重构视觉思维链
閱讀原文

評分76 / 75(平均 75,門檻 65)
狀態精選

相關報導

X @lmstudio● 精選AI 評分77

@lmstudio: Nemotron 3.5 Super VL from @NVIDIAAI is live in LM Studio!

NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。

量子位● 精選AI 評分72

何愷明團隊提出 NAT-ARC,純視覺方案解 ARC 達 70.2%

何愷明團隊發布 NAT-ARC,用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題,最佳單模型(0.6B 引數)在 ARC-1 上 pass@2 達 63.4%,整合後 70.2%。該方法不依賴 LLM,預訓練階段不使用 ARC 格子,僅複用 MAE 公開 checkpoint,測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平,並顯示預訓練打通了視覺路線的 scaling 瓶頸。

機器之心● 精選AI 評分79

TerraVis 提出文生圖世界一致性評估,18 類檢查項已開放線上體驗

被 NeurIPS 2026 接收的 TerraVis 提出文生圖「世界一致性」評估框架,用物體、互動、場景三層共 18 類檢查衡量影像在結構、空間、物理與常識上是否合理,只輸入影像、不依賴提示詞。在 COCO-T2I 與 GenAI-Bench 上,它與人類評分的 Spearman 相關係數為 0.44 和 0.43,高於現有指標中最好的 RAHF(0.29 和 0.37);

Hacker News front page● 精選AI 評分78

360M 模型微調成終端,可在瀏覽器跑 vim 與貪吃蛇

作者用 Qwen2.5-Coder-0.5B 微調出 360M 引數模型 WorldTUI,它背後沒有 shell 和檔案系統,只根據每次按鍵預測終端螢幕變化,能建立檔案、執行 vim 與 tmux、玩貪吃蛇。訓練資料由 Docker 中錄製的真實終端會話合成,共 33.6 萬段、約 20 億 token,其中 35% 的會話從任務中途開始;推理使用僅 333 個 token 的小詞表,COPY 行操作把滾動重繪從約 3000 token 降到每行 3 個。

機器之心● 精選AI 評分77

人大高瓴與百度等開源 LoopVL:迴圈 Transformer 擴充套件到視覺語言模型

人大、百度、清華等機構開源視覺語言模型 LoopVL,把迴圈 Transformer 擴充套件到多模態:僅 1B 語言主幹、0.14T 訓練 token,就在 MMMU-Pro、MathVision 等評測上追平或超過用約 36T token 訓練的 Qwen3.5-2B、InternVL3.5-2B。模型以 32 層引數展開 128 次層呼叫(H2L3×2),影像只編碼一次,後續迴圈持續更新視覺—語言狀態;