llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
原標題：b11874
閱讀原文
| 評分 | 42 / 42（平均 42，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援
llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。
llama.cpp CUDA 重做 top-k 選擇：大行數改用 radix
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。
llama.cpp b11469 發布，MUSA 後端改用 tile lightning indexer kernel
llama.cpp 發布 b11469 建置，其中 MUSA 後端改為使用 tile lightning indexer kernel（PR #30080），提交者為摩爾線程（mthreads.com）的 Xiaodong Ye。MUSA 是摩爾線程 GPU 的計算平台，這一改動面向在該平台上執行 llama.cpp 的使用者。
llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用
llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 的 OpenCL 後端新增 i32 GET_ROWS 與 i32/f32 複製支援
llama.cpp 建置 b11740 為 OpenCL 後端加入了 i32 型別的 GET_ROWS 行讀取，以及 i32 與 f32 之間的複製轉換（PR #30756）。這一版同時發布了 macOS（Apple Silicon/Intel）、iOS、Android、Windows、Linux 的預編譯包，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。