v0.32.2 發布:修復 MiMo-V2-Flash 注意力縮放問題
v0.32.2 於 10 月 16 日發布,核心改動是修復 MiMo-V2-Flash 的注意力數值縮放問題。同一版本還修復了 SMM 的 mask,並更新 Muse spark 在 Hugging Face 上的名稱。發布由 michalk8 完成,@ricky-chaoju 以首次貢獻者身份提交了 MiMo-V2-Flash 的修復,完整變更記錄為 v0.32.1...v0.32.2。
依意思最接近的 30 筆
v0.32.2 於 10 月 16 日發布,核心改動是修復 MiMo-V2-Flash 的注意力數值縮放問題。同一版本還修復了 SMM 的 mask,並更新 Muse spark 在 Hugging Face 上的名稱。發布由 michalk8 完成,@ricky-chaoju 以首次貢獻者身份提交了 MiMo-V2-Flash 的修復,完整變更記錄為 v0.32.1...v0.32.2。
MiniMax 正式發布 M3.1 Flash,官方稱其在 agentic 任務、coding、Computer Use 與網路安全上全面提升,使用成本較上一代降低 70%,線上推理速度提升近 3 倍。定價為每百萬 tokens 輸入 0.15 美元、輸出 0.60 美元、快取輸入 0.015 美元,日常輸出可達 200+ TPS(P50 170+ TPS)。
MiniMax M3.1 Flash 已在 Ollama 上線,可通過 Ollama Cloud 用 ollama run minimax-m3.1-flash:cloud 直接呼叫。官方稱該模型在美國託管、零資料保留,主打快速編碼與 agentic 工作流,支援影像理解和 100 萬 token 上下文視窗。它也能以 ollama launch claude 或 ollama launch codex 指定該模型,接入 Claude Code 與 Codex 使用。
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo(gfx1151、ROCm)打造,讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上,GLM 預填充 580 tok/s、解碼 26-30 tok/s,MiMo 解碼最高 44 tok/s(程式碼場景)。
Ollama 與 MiniMax 合作,未來三天在 Ollama Cloud 上免費開放 MiniMax M3.1 Flash,無需本地算力即可呼叫。該服務由美國境內託管,並承諾零資料保留,即不儲存使用者請求資料。免費視窗僅限這三天,託管地區與資料策略是官方同時說明的兩項條件。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
Cloudflare 推出開源權重決策模型 Clef-omni,能在一次 API 呼叫中同時接收音訊(wav/mp3)、影片(mp4/webm)、影像和文字輸入,模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA,權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒,含聲音的 21 秒影片約 1.5 秒。
Google 將停止 Gemini Flash 和 Pro 模型的免費使用,使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論,使用者對 Flash 被納入付費範圍尤為不滿,認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。
DeepSeek-V4.1-Flash-1017 已在 LM Studio Bionic 上線,支援 100 萬 token 上下文與影像輸入,官方稱其價效比很高。該模型由美國境內託管,並提供完整的零資料保留(ZDR)。LM Studio 建議將它用於 coding 任務。
南大系初創公司南芥智慧(SinapisAI)發布首份技術報告,其 Mio 1.0 Lite 在九個公開 benchmark 上平均分 77.15/100 排名第一,平均每請求成本 0.06 元為全場最低,比分數最高的對手 GPT 6.1 Sol 高 6.35 分、成本低 94.0%。系統先為模型建立可量化的能力畫像,再結合任務需求與資源預算做模型選擇與協作,底層模型倉庫已收錄 484 個模型,產品平台於 10 月 8 日開啟公測。
Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Google DeepMind 正式發布 Nano Banana 2.1,底層由 Gemini 3.6 Flash 驅動,模型 ID 為 gemini-nano-banana-2.1,已作為穩定模型上線 Gemini App、AI Studio、Gemini API、Search AI Mode、Google Ads、Flow 與 Stitch。新版定位高效率影像生成與對話式編輯,支援 1K/2K/4K 輸出、最多 14 張參考圖融合,重點強化設計版式、蒙版區域性編輯和主體一致性;
Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max),採用 MIT 許可,權重已上傳 Hugging Face,支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45,遠高於同類開源模型中位數 19;總引數 552B、每 token 啟用 16B,上下文視窗 1M token,輸出速度約 230 token/秒。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
10 月 16 日,範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域(ModelSphere),面向企業免費開源,以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程,可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片,無需為不同晶片重寫底層程式碼。
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7,其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,約 3G 記憶體就能在 iOS、安卓裝置上流暢執行,iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本,主打 OCR、數學與影片理解。
Google 發布 EmbeddingGemma 2,一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器,面向端側場景最佳化;藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度,上下文視窗 8K,是純文字版 EmbeddingGemma 的 4 倍,並以 Apache 2.0 許可開放商用。
Murea Labs 的 Murea-Pro 以 81.13 分登頂互動影片世界模型評測 WBench Full-289,其輕量開源版 Murea-Fast 在 OpenS2V-Eval 以 64.98 分位列參評開源模型第一。Murea-Pro 在 RTX PRO 6000 上 3.6 秒生成 5 秒有聲影片,即時因子約 0.71;經 4 步蒸餾與系統最佳化,8 張 H20 上的生成耗時從 231.6 秒降至 6.96 秒,累計加速 33.3 倍。
llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
DeepSeek-V4.1-Flash-1017 已在 Ollama 上線,可通過 Ollama Cloud 呼叫,託管位於美國且承諾零資料留存。該模型在 agentic 任務上表現較強,同時單任務成本更低。
llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp 發布 b11507 版本,新增 MoE 快取跨多張 GPU 的支援(PR #30112),可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物,覆蓋 macOS Apple Silicon、iOS、Linux(CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO)、Windows、Android 以及 openEuler 等平台。
ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ,為部分 MoE 架構帶來提速,例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%,並指出僅對部分 MoE 架構有效。
螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp 發布 b11554,Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理:不再逐個迴圈,而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟,會生成緊湊的 tile 描述列表、按需發射多個 tile,從而收緊 workgroup 數量上界,尾部執行緒可直接提前退出。
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel(gemm_moe_mxfp4_q8_1_dp4a_ila_ldck),並在 X1E 上啟用 dp4a clc,用於加速驍龍裝置上的 MoE 模型推理。
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型,把文字、影像、影片與音訊對映到統一向量空間,面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合,或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。