llama.cpp 為 OpenCL 後端新增 topk_mask 運算元
llama.cpp 建置 b12052 在 OpenCL 後端加入 topk_mask 運算元支援（#31441）。同批發布各平台預編譯包：macOS/iOS（Apple Silicon、Intel）、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 版本，以及 Android arm64、Windows arm64 的 OpenCL Adreno 和驍龍 CPU、Adreno GPU、Hexagon…
原標題：b12052
閱讀原文
| 評分 | 35 / 42（平均 38，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
llama.cpp 為 Hexagon NPU 新增 TOP_K_MASK 運算元
llama.cpp 發布 b12096 建置，為 Hexagon NPU 後端新增 TOP_K_MASK 運算元，並簡化該 kernel、不再重複主機配置。
llama.cpp 的 Metal 後端新增融合 top-k mask 運算元
llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元（GGML_OP_TOP_K_MASK），移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf，再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去；並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支，同時清理了核心格式。
llama.cpp b11800 新增 QSA mask 融合運算元，並將 k-pool mask 推廣為通用實現
llama.cpp b11800 為 QSA 新增融合運算元，並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask，DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf，可按 head 逐行選擇，後端不支援時回退原路徑。
llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援
llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。