依意思最接近的 30 筆
llama.cpp b11800 為 QSA 新增融合運算元，並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask，DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf，可按 head 逐行選擇，後端不支援時回退原路徑。
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；
llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤，涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride，CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03；現在兩者都改為遵循 dims 1..3 的 stride，且 CUDA 的 supports_op 要求行連續，與 Metal 一致。
v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄，消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄；MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包，並在發布打包流程中校驗這些依賴。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
llama.cpp 發布 b11505，修復 Vulkan 後端 TOP_K 運算元在 +inf/NaN 輸入和 k=1 負值時的錯誤。原 bucket search 從 [0, 0xFF800000) 起算，+inf 與 NaN 永不被計數，可致 NVIDIA 上掛起或裝置丟失、AMD 上索引錯誤，並漏掉真實 top 值。
llama.cpp 發布建置 b11581，主要改動是刪除模型實現中多餘的 ggml_cont 呼叫，官方稱所有 unary kernel 現在都已支援這種用法，CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next：在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性，並清理 dflash 的 cont。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
llama.cpp 發布 b11720，ggml 的 SUM 運算新增非連續（non-contiguous）張量檢視支援，覆蓋 CPU、CUDA、Vulkan 與 WebGPU 四種後端，並補充了非連續檢視的測試用例。
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Google DeepMind 的 EmbeddingGemma 2 已上線 Ollama，執行 ollama pull embeddinggemma-2 即可拉取。訊息由 Ollama 官方帳號在 10 月 6 日發布，官方稱該模型面向消費級裝置，並且是多模態模型。原文未披露模型體積、上下文長度與具體支援的模態等細節。
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型，把文字、影像、影片與音訊對映到統一向量空間，面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合，或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。
llama.cpp 發布 b11563 建置，其中 ggml 把符號預設可見性改為 hidden，避免一批內部符號通過 GGML_API 洩漏（#30014，討論見 #29997）。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp 發布 b11710，主要變更是 CUDA 後端新增 grouped experts 的 top-k 融合，並把它接入 graph_optimize，同時補上測試。同批提交還包含多處 HIP 修復，最終改為按 HIP 版本做條件編譯。
llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度（context_length），資料取自 GGUF 後設資料，無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64，檔案缺失或無效時返回 0，router 列表因此可離線攜帶該欄位。
Ollama 模型庫新增 Google DeepMind 的 embeddinggemma-2 頁面，地址為 ollama.com/library/embeddinggemma-2，使用者可通過 Ollama 拉取該嵌入模型。該條目由 Ollama 官方帳號發布，指向 Google DeepMind 的這一模型。原文未給出模型規模、上下文長度、許可證或效能資料等細節。
llama.cpp 合併 PR #29928，為 GLM5-Next 加入多 token 預測（MTP）的 NextN 計算圖，使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入，並把 MTP 圖按輸出行裁剪，無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms，貪心輸出雜湊與 draft 接受率不變。
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
llama.cpp 發布 b11412，修復 k-pool 模型（qwen4exp、glm5-next）解碼時意外重新預留計算圖並中止的問題。原因是兩模型按 cache_safe、n_tokens 等 reserve 無法預知的狀態分支，解碼圖與預留圖節點數不一致（如 7564 對 7762），解碼時被迫按當前狀態重預留、丟掉最壞情況尺寸，在 GGML_SCHED_DEBUG_REALLOC=1 下直接 abort。
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
Mistral AI 發布 Mistral Large 4（代號 Le Chonk），總引數 1T、啟用 49B，原生多模態，即日起通過 API 向所有人開放，開放權重版本將於 10 月底發布。官方稱其是歐美聚合基準上最好的開放權重模型，在網路安全、製造、金融等關鍵負載上達到 SOTA，視覺 grounding 超過閉源前沿模型。該模型端到端在歐洲打造，可通過 Mistral 自有的 Mistral Cloud 基礎設施部署，目前正與網路安全夥伴私下合作。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
Mistral 發布首個時間序列基礎模型家族 Timestral，最大的 209M 引數版本在 GIFT-Eval、TIME、fev-bench 三個公開基準上均排名第一，且引數量只有此前最優模型的三分之二。家族含 5M、28M、123M、209M 四個規模，支援機率與多變數預測、已知未來協變數，零樣本即可使用。推理無需 GPU，在 8 執行緒標準伺服器 CPU 上，用三週 15 分鐘粒度歷史預測未來一天，5M 耗時 10ms、209M 為 140ms；