依意思最接近的 30 筆
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena，論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖，把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示，存得多不等於用得好：M2A 記憶召回率 86.83%，問答正確率僅 50.14%；
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Kimi 團隊開源 WorldVQA 基準，用 3500 組圖文問答檢驗多模態大模型是否真的認出了圖中的實體，而不是僅憑視覺模式猜測。資料集覆蓋 9 大類，中文佔 36%、英文佔 64%，並把常見知識與長尾知識分開統計；結果顯示，前沿模型在長尾題上的準確率常常低於 50%。校準實驗還發現，各模型普遍過度自信；其中表現最好的 Kimi-K2.5，其 ECE 仍達 37.9%，Slope 為 0.550。
Kimi 團隊發布 PerceptionBench，這是從 42 個現有基準中的真實模型失敗裡歸納出視覺感知能力的評測集，包含 10 類原子感知能力：視覺關係、計數、屬性、深度與 3D、定位、比較、細粒度識別、上下文整合、OCR 與幻覺；共 3000 道經驗證題目，只需看圖即可作答，不依賴推理或外部知識。在 16 個前沿多模態大模型上，沒有一個模型準確率達到 60%，感知相關的幻覺平均是最弱項，總分接近的模型在實際感知內容上也可能差別很大。
論文提出 Selection-based Structured Reasoning（SSR），把多模態智慧體的推理從自由生成改為從預設候選中選擇。SSR 將反覆出現的高層推理表示為預先設定、可複用的自然語言候選，模型在每一輪從這些候選裡選擇，而不是開放式生成。作者指出，多模態智慧體通常在每次行動前生成自由形式的推理，小模型受容量限制，往往產生冗長卻對動作生成幫助有限的推理，同時帶來可觀的推理成本。
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。
Meta 發布開放權重模型 Muse Spark Open，採用混合專家架構，總引數約 816B、每 token 啟用約 42B，可輸入文字、影像、音訊和影片，輸出文字，上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練，能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重，BF16 約 1.5TB，NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL，在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM（70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B），發現候選池擴大後原有跨模態指標失效，甚至不如單模態指標。
中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior，這是首個真實世界全鏈路使用者行為模擬基準，已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄，橫跨影片、直播、電商、廣告與搜尋場景，共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分，多數模型在 32 至 41 分，擴大上下文視窗未帶來穩定提升。
Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流：以 Mistral Large 4 配合資料生成與物理建模管線，用 NVIDIA CUDA-X、Warp 加速模擬，並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集，併為 CAE、EDA 中的 agentic AI 建立評測，考察工具使用、多步流程與技術正確性，同時記錄耗時與算力成本。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Meta 發布開源權重模型 Muse Spark Open，稱其是美國迄今能力最強的開源權重模型，主打編碼與 agentic 任務。模型總引數 816B、啟用 42B，上下文視窗 1M token，原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
Parsimony 是一個開源基準，用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁，統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數，並減去被刪除的程式碼，只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁，作者在自己的訂閱上跑了 3–10 個任務，結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
Mistral 發布首個時間序列基礎模型家族 Timestral，最大的 209M 引數版本在 GIFT-Eval、TIME、fev-bench 三個公開基準上均排名第一，且引數量只有此前最優模型的三分之二。家族含 5M、28M、123M、209M 四個規模，支援機率與多變數預測、已知未來協變數，零樣本即可使用。推理無需 GPU，在 8 執行緒標準伺服器 CPU 上，用三週 15 分鐘粒度歷史預測未來一天，5M 耗時 10ms、209M 為 140ms；
Meta 發布開源權重模型 Muse Spark Open：816B 總引數、42B 啟用的 MoE，Artificial Analysis 智慧指數 39，為美國開源模型最高分。
Ollama 發布 v0.40.0-rc6，在 MLX runner 上實現 EmbeddingGemma2Model 架構，使本地嵌入支援多模態輸入。/api/embed 介面現在可通過 input dict 為每個條目單獨傳入媒體。該模型為 24 層雙向文字編碼器，帶 PLE，共享 gemma4 的視覺與音訊塔，輸出經 mean-pool 與 L2 歸一化。該標籤由 pdevine 於 10 月 6 日打上，對應提交 #18820，仍屬 rc 預發布版本。
Ollama 官方表示，Meta 最新發布的開放權重模型將很快在 Ollama 上線。Ollama 稱其為迄今美國最好的開放權重模型，但未透露模型名稱、引數規模與具體上線時間。
Meta 公布了 Muse Glimmer 的技術報告，這是一個 30B 開放權重模型，面向消費級硬體上的 agentic 任務。它在 4-bit 精度下可在配備單張消費級 GPU 的 Mac 或 PC 上以實用速度執行，官方稱其在工具呼叫與多步規劃上領先同尺寸開放模型。報告還披露了模型架構、蒸餾配方與量化方案等細節。
廈門大學 ASC 實驗室的 FlowMAS 被 NeurIPS 2026 錄用：它用生成流網路（GFlowNet）把多智慧體工作流拓撲的設計變成可學習的生成問題，讓 AI 自動學出團隊的排兵佈陣。方法引入好奇心驅動與資訊引導兩個模組，在搭建每一步給中間結構發過程性獎勵，後者用資訊理論衡量多路 AI 輸出的協同與冗餘。在 6 個基準、3 種模型底座上，它比手工設計平均高 8.17 分、比自動化方法高 6.12 分；
Kimi K2.5 發布，官方稱其為迄今最強開源模型，原生多模態，在 K2 基礎上用約 15T 視覺與文字混合 token 繼續預訓練。其 Agent Swarm 可自行組織最多 100 個子智慧體、執行最多 1500 次工具呼叫，相比單智慧體執行時間最多縮短 4.5 倍。模型已上線 Kimi.com、App、API 和 Kimi Code；
Mistral AI 官方帳號宣布，Mistral Large 4 在 Harvey 的 Legal Agent Benchmark（LAB）中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名，LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。