llama.cpp CUDA 融合 MoE 門控與 GLU，加速 MMQ 推理
llama.cpp 發布 b11962 建置，在 CUDA 的 MMQ 路徑中把 MoE（MUL_MAT_ID）的 gate/up 投影與 GLU 融合成一個運算元，減少中間結果的視訊記憶體讀寫與運算元呼叫開銷。
原標題：b11962
閱讀原文
| 評分 | 42 / 45（平均 43，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。
llama.cpp CUDA 後端融合 FFN gate/up 矩陣乘與 GLU
llama.cpp 的 CUDA 後端把稠密 FFN 的 gate 與 up 兩次矩陣乘合併為一次 mul_mat_q 呼叫，並在寫回階段直接計算 GLU，主要加速 prompt 處理。權重按每 8 行交錯裝載，使每個執行緒同時持有 up 值與對應的 gate 值，MMA 迴圈、warp 佈局與 vec_dot 保持原樣，寫回只輸出一半行。
llama.cpp 為 CUDA 加入 384 專家的 Top-K MoE 融合
llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。
llama.cpp b11517 發布：CUDA 版把 src1 精度傳入主機端 MMQ 配置
llama.cpp 建置版本 b11517 發布，其中 CUDA 後端將 src1 精度顯式傳遞給主機端的 MMQ 配置輔助函式（PR #30168，作者來自 NVIDIA），屬於量化矩陣乘效能/正確性相關的底層調整。
llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加
llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；