搜尋

llama.cpp 為 Hexagon NPU 新增 TOP_K_MASK 運算元

llama.cpp 發布 b12096 建置，為 Hexagon NPU 後端新增 TOP_K_MASK 運算元，並簡化該 kernel、不再重複主機配置。

llama.cpp b11800 新增 QSA mask 融合運算元，並將 k-pool mask 推廣為通用實現

llama.cpp b11800 為 QSA 新增融合運算元，並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask，DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf，可按 head 逐行選擇，後端不支援時回退原路徑。

llama.cpp 的 Metal 後端新增融合 top-k mask 運算元

llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元（GGML_OP_TOP_K_MASK），移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf，再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去；並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支，同時清理了核心格式。

llama.cpp 為 OpenCL 後端新增 topk_mask 運算元

llama.cpp 建置 b12052 在 OpenCL 後端加入 topk_mask 運算元支援（#31441）。同批發布各平台預編譯包：macOS/iOS（Apple Silicon、Intel）、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 版本，以及 Android arm64、Windows arm64 的 OpenCL Adreno 和驍龍 CPU、Adreno GPU、Hexagon…

llama.cpp CUDA 重做 top-k 選擇：大行數改用 radix

llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。

llama.cpp 重構稀疏注意力 K 池選擇，與 kq_mask 形狀解耦

llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀，改為在 KV cache 單元上按 [n_kv, n_tokens] 建置，到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局（例如按序列的行列表），不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。

llama.cpp Vulkan 後端修復 TOP_K 的 inf/NaN 與負值錯誤

llama.cpp 發布 b11505，修復 Vulkan 後端 TOP_K 運算元在 +inf/NaN 輸入和 k=1 負值時的錯誤。原 bucket search 從 [0, 0xFF800000) 起算，+inf 與 NaN 永不被計數，可致 NVIDIA 上掛起或裝置丟失、AMD 上索引錯誤，並漏掉真實 top 值。

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。

llama.cpp 為 Hexagon NPU 重寫 TOP_K 取樣

llama.cpp 建置 b12094 重寫了 Hexagon 後端的 TOP_K 取樣：先跳過最大值夠不到當前第 k 名的 tile，再用 top_k_scan() 以一次 HVX max-reduce 剔除 256 個 float 的塊，只把存活元素插入 k 項有序表，取代原先的整塊雙調排序。該路徑覆蓋 k 在 2 到 64、行寬超過 1024 的情形，單行與多行均生效；並列時保留首次出現的索引，NaN 按 -INF 處理。同一提交還去掉了 vtcm 上的標量讀取。

llama.cpp 最佳化 SYCL 短行 TOP_K，最高提速 18.5 倍

llama.cpp 合併了一項 SYCL 後端改動：當 TOP_K 的行長度不超過 work-group 大小時，改為每個 work-item 負責一列、做 k 輪 work-group argmax，並列時取較小列號，NaN 不會被選中，長行仍走原有路徑。

KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍

清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。

llama.cpp 為 CUDA 加入 384 專家的 Top-K MoE 融合

llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%

小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。

k10s 發布：可點選的 Kubernetes 終端 UI，內建感知上下文的 AI

k10s 是 Go 與 Bubble Tea 寫的可點選 Kubernetes 終端 UI：滑鼠可點選行與面板，ctrl+p 統一搜尋資源型別與物件，啟動時不註冊任何 watch，informers 按需懶載入。它內建 AI，ctrl+a 用自然語言提問時會自動注入當前 context、名稱空間、資源型別與選中物件，回答針對該物件；同時相容 k9s 風格的 plugins.yaml 自訂動作。

面壁智慧 ForgeKernel 直播自寫運算元，反超 DeepSeek FlashMLA 9.8%

面壁智慧的運算元生成系統 ForgeKernel 在無原始碼、無參考實現的情況下，通過直播自進化 22.5 小時，在輝達 B200 上把 DeepSeek-V4.1 的 FlashMLA Prefill 運算元做到 472 微秒，比人類手寫的 518 微秒快 9.8%。全程 42 輪迭代、留下 32 個版本，只用了 1 張 B200 和 22 個 GPU 小時，人工編寫 0 行程式碼。它此前已登頂昇騰 CANNBench 950DT、950PR、A3 三張榜單第一，並在直播結束後開源；

llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention

llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。

llama.cpp b11710 為 CUDA 加入分組專家 top-k 融合

llama.cpp 發布 b11710，主要變更是 CUDA 後端新增 grouped experts 的 top-k 融合，並把它接入 graph_optimize，同時補上測試。同批提交還包含多處 HIP 修復，最終改為按 HIP 版本做條件編譯。

llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充

llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。

Mistral Large 4 在 AutomationBench 領先 Kimi K3、DeepSeek V4 Pro

Mistral AI 稱 Mistral Large 4 在 AutomationBench 上完成 657 個業務工作流，成績領先 Kimi K3、MiMo-V2.6-Pro 與 DeepSeek V4 Pro。該基準的任務跑在模擬辦公應用中，涵蓋 Gmail、Google Sheets、Slack 與 Salesforce 四個工具。帖文未披露具體分數、評測日期與配置細節。

DeepSeek 開源推理棧 DeepInfer，單叢集日處理 155 萬億 token

DeepSeek 開源了生產推理棧 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，支援最長 72 小時 prompt 快取、投機解碼與結構化輸出，相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s，按非高峰電價折算單卡每小時收入 38 美元，毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源；

Kimi K3 發布：2.8T 引數開源模型，支援百萬 token 上下文

Kimi 發布最強模型 Kimi K3，引數規模 2.8T，具備原生視覺與 100 萬 token 上下文，並稱其為全球首個開源的 3T 級模型。官方承認整體效能仍落後於 Claude Fable 5 與 GPT 5.6 Sol，但在自家評測中穩定優於其他被測模型。該模型即日上線 Kimi.com、Kimi Work、Kimi Code 與 Kimi API，預設使用最高思考強度；完整權重將於 2026 年 7 月 27 日前開放。

Mistral 發布時序基礎模型 Timestral，209M 版本登頂三大基準

Mistral 發布首個時間序列基礎模型家族 Timestral，最大的 209M 引數版本在 GIFT-Eval、TIME、fev-bench 三個公開基準上均排名第一，且引數量只有此前最優模型的三分之二。家族含 5M、28M、123M、209M 四個規模，支援機率與多變數預測、已知未來協變數，零樣本即可使用。推理無需 GPU，在 8 執行緒標準伺服器 CPU 上，用三週 15 分鐘粒度歷史預測未來一天，5M 耗時 10ms、209M 為 140ms；

Kimi K3.1 Pro 發布：2.8T 總引數、1M 上下文的開放權重模型

Kimi 發布 K3.1 Pro，號稱最強開放權重模型：MoE 架構 2.8T 總引數、104B 啟用引數，支援 1M token 上下文與多模態輸入。官方稱其在程式設計、agentic 與知識類基準上追平最強閉源模型，可完成 Unreal、Unity、Godot 整專案遊戲開發，擅長 Blender 與 CAD 引數化 3D 建模，金融任務幻覺率下降 65%。

@GoogleDeepMind

馬斯克稱 SpaceX 將按任務選用最佳後端模型

馬斯克就 Grok Bot 發布說明：SpaceX 今後會為每一項任務選用最佳後端模型。他點名的候選包括 Claude Opus 5.5、MidJourney、Suno 以及其他領先 API，選擇標準是哪種模型最可能帶來最好的結果。推文未給出具體上線時間、適用產品或呼叫方式。

@MistralAI: We’re also now serving two fast, low-cost models:

Mistral 開始提供兩款快速、低成本的模型：DeepSeek V4.1 Flash 和 GLM 5.3 Flash。DeepSeek V4.1 Flash 處於公開預覽階段，官方稱其適合長上下文程式設計與 agentic 任務；GLM 5.3 Flash 已正式可用（GA），面向子代理、工具呼叫和程式設計任務。

Mistral Large 4 發布：1T 引數原生多模態，API 今日可用

Mistral AI 發布 Mistral Large 4（代號 Le Chonk），總引數 1T、啟用 49B，原生多模態，即日起通過 API 向所有人開放，開放權重版本將於 10 月底發布。官方稱其是歐美聚合基準上最好的開放權重模型，在網路安全、製造、金融等關鍵負載上達到 SOTA，視覺 grounding 超過閉源前沿模型。該模型端到端在歐洲打造，可通過 Mistral 自有的 Mistral Cloud 基礎設施部署，目前正與網路安全夥伴私下合作。

Kimi K3.1 Pro 發布：3T 級開源權重模型，支援百萬 token 上下文

Kimi K3.1 Pro 正式發布，是 K3.1 系列首個模型，也是目前規模最大的 3T 級開源權重模型，支援 100 萬 token 上下文。同步推出速度提升 2–3 倍的 Highspeed 版本，兩者已在 Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上線，完整權重將於 11 月 4 日前公開。

@AIatMeta: Today we’re releasing Muse Spark Open, the most capable US open-weight model to date.

Meta 發布開源權重模型 Muse Spark Open，稱其是美國迄今能力最強的開源權重模型，主打編碼與 agentic 任務。模型總引數 816B、啟用 42B，上下文視窗 1M token，原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。