llama.cpp b11713：CUDA 低位元量化 MMVQ 提速
llama.cpp 發布 b11713，CUDA 後端針對低位元型別的 MMVQ 矩陣乘向量計算提速，同時修復 HIP 在 small nwarps GCN 上 Q3_K（ncols=2、3）與 Q6_K（ncols=4）的問題。
原標題：b11713
閱讀原文
| 評分 | 45 / 55（平均 50，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11517 發布：CUDA 版把 src1 精度傳入主機端 MMQ 配置
llama.cpp 建置版本 b11517 發布，其中 CUDA 後端將 src1 精度顯式傳遞給主機端的 MMQ 配置輔助函式（PR #30168，作者來自 NVIDIA），屬於量化矩陣乘效能/正確性相關的底層調整。
llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加
llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；
llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；