Apple Machine Learning Research● 精選AI 評分65
首個三模態掩碼擴散模型：文字影像音訊聯合預訓練
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
搜尋
依意思最接近的 24 筆
機器之心● 精選AI 評分72
新基準 VA-Bench 測 12 個多模態模型，完整任務成功率約一半
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
X @GoogleDeepMind● 精選AI 評分73
@GoogleDeepMind: Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
TechCrunch AI● 精選AI 評分90
Mistral 發布 1T 引數多模態模型 Mistral Large 4
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。
量子位AI 評分50
範式智慧聯合睿思智聯開源生產級 AI 部署平台模域 ModelSphere
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
機器之心● 精選AI 評分77
多模態 Agent 記憶基準 WorldMemArena 發布
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena，論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖，把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示，存得多不等於用得好：M2A 記憶召回率 86.83%，問答正確率僅 50.14%；
Hacker News front pageAI 評分70
UniEvo-VL：多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。
Apple Machine Learning Research● 精選AI 評分66
新框架 SSR 把多模態智慧體推理改為候選選擇
論文提出 Selection-based Structured Reasoning（SSR），把多模態智慧體的推理從自由生成改為從預設候選中選擇。SSR 將反覆出現的高層推理表示為預先設定、可複用的自然語言候選，模型在每一輪從這些候選裡選擇，而不是開放式生成。作者指出，多模態智慧體通常在每次行動前生成自由形式的推理，小模型受容量限制，往往產生冗長卻對動作生成幫助有限的推理，同時帶來可觀的推理成本。
Kimi blog● 精選AI 評分72
Kimi 開源 WorldVQA 基準，評測多模態模型視覺世界知識
Kimi 團隊開源 WorldVQA 基準，用 3500 組圖文問答檢驗多模態大模型是否真的認出了圖中的實體，而不是僅憑視覺模式猜測。資料集覆蓋 9 大類，中文佔 36%、英文佔 64%，並把常見知識與長尾知識分開統計；結果顯示，前沿模型在長尾題上的準確率常常低於 50%。校準實驗還發現，各模型普遍過度自信；其中表現最好的 Kimi-K2.5，其 ECE 仍達 37.9%，Slope 為 0.550。
Google DeepMind blog● 精選AI 評分85
Google 發布 740M 引數開源多模態嵌入模型 EmbeddingGemma 2
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Hacker News front page● 精選AI 評分85
Google 發布 EmbeddingGemma 2，740M 引數開源端側多模態嵌入模型
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
NVIDIA blogAI 評分59
Mistral Large 4 用 3800 塊 GB200 訓練，輝達歐洲雲合作伙伴同步擴容
輝達在歐洲的雲合作伙伴集體擴容，其中 Mistral 在自有歐洲資料中心用 3800 塊 Grace Blackwell GPU 訓練出最新前沿多模態模型 Mistral Large 4，覆蓋編碼、agentic 工作流與多模態理解，其 Vera Rubin 基礎設施計劃 2027 年交付。Nscale 用 GB300 NVL72 與 DSX MaxLPS，在同等供電預算下多部署 37% 的 GPU，聚合推理吞吐提升近 50%。
Hugging Face blog● 精選AI 評分95
Meta 開源 816B 多模態 MoE 模型 Muse Spark Open
Meta 發布開放權重模型 Muse Spark Open，採用混合專家架構，總引數約 816B、每 token 啟用約 42B，可輸入文字、影像、音訊和影片，輸出文字，上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練，能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重，BF16 約 1.5TB，NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
Hacker News front page● 精選AI 評分78
Google 發布 EmbeddingGemma 2，統一五種模態嵌入
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
機器之心● 精選AI 評分80
董豪團隊提出 HIL-UMI：人類示範時即可採集機器人後訓練資料
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI：人手持夾爪示範時，模型同步預測動作並標出與人類操作的分歧，從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型，在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務，三輪更新後平均任務進度分數從 62.3 升至 94.8，同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍，最終得分 96 比 91。
X @AIatMeta● 精選AI 評分92
@AIatMeta: Today we’re releasing Muse Spark Open, the most capable US open-weight model to date.
Meta 發布開源權重模型 Muse Spark Open，稱其是美國迄今能力最強的開源權重模型，主打編碼與 agentic 任務。模型總引數 816B、啟用 42B，上下文視窗 1M token，原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。
Latent SpaceAI 評分63
Modal 完成 7.5 億美元 D 輪，估值 160 億美元
AI 基礎設施公司 Modal 完成 7.5 億美元 D 輪融資，估值 160 億美元，並稱年化收入已突破 10 億美元。CEO Erik Bernhardsson 在訪談中表示，公司累計啟動近 30 億個沙箱，沙箱業務約佔收入三分之一；該產品早期使用者太少、一度考慮關停，後被 coding agent 與強化學習的需求拉起。
Ollama releases● 精選AI 評分76
Ollama v0.40.0-rc6 在 MLX 上加入多模態嵌入
Ollama 發布 v0.40.0-rc6，在 MLX runner 上實現 EmbeddingGemma2Model 架構，使本地嵌入支援多模態輸入。/api/embed 介面現在可通過 input dict 為每個條目單獨傳入媒體。該模型為 24 層雙向文字編碼器，帶 PLE，共享 gemma4 的視覺與音訊塔，輸出經 mean-pool 與 L2 歸一化。該標籤由 pdevine 於 10 月 6 日打上，對應提交 #18820，仍屬 rc 預發布版本。
Latent Space● 精選AI 評分69
Leash Bio 發布 Minos：供智慧體做科學推理的開放資料集
Leash Bio 發布 Minos——一個讓 AI 智慧體進行可驗證科學推理的測試環境，同時公開預印本、部落格與開放資料集。其 DNA 編碼庫（DEL）多年積累的資料可提供數萬條「lab-in-the-loop」模擬，正好用作科學強化學習環境。在該沙盒中，LLM 需用自然語言推理構效關係，在 650 萬分子中、以 100 次預算找出最佳結合物。團隊自研的 Hermes 僅用自家資料訓練，在公開基準上與 Boltz 相當。
Kimi blog● 精選AI 評分93
Kimi K2.5 發布：開源原生多模態，支援 100 個子智慧體
Kimi K2.5 發布，官方稱其為迄今最強開源模型，原生多模態，在 K2 基礎上用約 15T 視覺與文字混合 token 繼續預訓練。其 Agent Swarm 可自行組織最多 100 個子智慧體、執行最多 1500 次工具呼叫，相比單智慧體執行時間最多縮短 4.5 倍。模型已上線 Kimi.com、App、API 和 Kimi Code；
X @ollamaAI 評分57
Cloudflare 的 27B 多模態模型 Clef 上線 Ollama
Cloudflare 的 27B 多模態決策模型 Clef 已在 Ollama 上線，可在本地或雲端執行。該模型支援文字與影像輸入，相容 Jev 與 System One 兩套 API。官方說明其託管在美國境內，並承諾零資料保留。
NVIDIA blogAI 評分45
NVIDIA 加入歐盟 AI 科研計劃，開放 250+ 開源模型
NVIDIA 加入歐盟委員會在都柏林 AI in Science Summit 上啟動的 AI in Science Enablers 計劃，將向歐洲科研界開放加速計算工具、算力與培訓。NVIDIA 已開源 250 多個模型、250 個資料集與 1400 多個開源專案，包括 Nemotron、BioNeMo、PhysicsNeMo、Earth-2 和 ALCHEMI NIM，可用於 agentic 推理與科學計算。
Google Developers blog● 精選AI 評分71
EmbeddingGemma 2 開源多模態嵌入模型，768 維統一空間
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
量子位AI 評分64
破曉智慧發布全身全模態資料採集系統 SeePhys Hub
10 月 14 日，破曉智慧聯合天瓏移動發布全身全模態資料採集系統 SeePhys Hub，用四目頭環、兩個腕部手環、三個腰腿部追蹤器和可選觸覺手套，在輕量 Ego 採集之上補回全身姿態與手部接觸壓力。頭環重不超過 220 克、單個腕環不超過 75 克，相機、IMU 與 UWB 同步精度不超過 0.5 毫秒，配套平台負責解析、清洗、動作切分、語義標註與動作重定向。團隊計劃 2027 年推出全模態世界模型，優先在工業、餐飲零售等場景驗證，現階段不造自有機器人本體。