免訓練評測視覺編碼器 RAVEL 提出,相關性達 0.85
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL,在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM(70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B),發現候選池擴大後原有跨模態指標失效,甚至不如單模態指標。
找到 5 筆
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL,在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM(70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B),發現候選池擴大後原有跨模態指標失效,甚至不如單模態指標。
Ollama v0.40.5 新增 NVIDIA Nemotron 3.5 Super 與 Nemotron 3.5 Bolt 兩個模型支援。Super 是面向編碼、推理、工具呼叫與文件理解的視覺語言模型,採用 120B 引數混合 Mamba-2/Transformer MoE 架構、每 token 啟用 12B,搭配 C-RADIO 視覺編碼器,支援工具呼叫、思考模式開關和最高 1M tokens 上下文;
Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash,託管在 Workers AI,並以 Apache 2.0 許可在 Hugging Face 開源,同時推出新的強化學習微調平台。Clef 目前在 Jev Decision Index 上排名第一,帶視覺編碼器、64k 上下文,而 Jev 只做文字分類、上下文 32k。這類模型輸出帶機率的結構化分類,供 agent 決定路由、升級或轉人工。
Mistral 於 10 月 6 日公開預覽 Mistral Large 4:開放權重、通用多模態模型,採用細粒度 MoE 架構,49B 啟用引數、1.05T 總引數,配 1.6B 視覺編碼器,上下文 1M。定價為輸入每百萬 tokens 0.68 美元、快取輸入 0.07 美元、輸出 2.09 美元,頁面同時列出 1.36、0.14、4.18 的對照價格。功能含結構化輸出、函式呼叫、文件問答、字首補全、Chat Completions、批處理與 Agents 內建工具。
何愷明團隊發布 NAT-ARC,用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題,最佳單模型(0.6B 引數)在 ARC-1 上 pass@2 達 63.4%,整合後 70.2%。該方法不依賴 LLM,預訓練階段不使用 ARC 格子,僅複用 MAE 公開 checkpoint,測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平,並顯示預訓練打通了視覺路線的 scaling 瓶頸。