2026 年 10 月 21 日，llama.cpp 發布 b11800，為 QSA 新增融合運算元，並把原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用的 ggml_top_k_mask，DSA 模型與 DeepSeek V4 CSA 也改用該運算元。據發布說明，該… 看完整事件
llama.cpp 重構稀疏注意力 K 池選擇，與 kq_mask 形狀解耦
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀，改為在 KV cache 單元上按 [n_kv, n_tokens] 建置，到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局（例如按序列的行列表），不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
原標題：b11936
閱讀原文
| 評分 | 32 / 40（平均 36，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp 的 Metal 後端新增融合 top-k mask 運算元
llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元（GGML_OP_TOP_K_MASK），移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf，再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去；並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支，同時清理了核心格式。
llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造
llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。