所屬事件：llama.cpp 合併 PR：CUDA 後端融合 MoE 共享專家（2 個來源 · 2 則報導）
2026 年 10 月 2 日，llama.cpp 出現 PR #29184（作者 am17an），提出在 CUDA 後端把 MoE 的共享專家融合進 MMVQ 運算元，為部分 MoE 架構（例如 Qwen 35B A3B）帶來推理加速。據 r/LocalLLaMA 帖子下的評論，初步結論是 token 生成速度最多提… 看完整事件
llama.cpp 發布 b11370，CUDA 後端將共享專家融合進 MMVQ
llama.cpp 發布建置版本 b11370，CUDA 後端新增將共享專家（shared experts）融合進 MMVQ 的改動（#29184），並修復緩衝區空值檢查、把 stride_col_dst 移入融合引數。
你準備用 Mac Studio 本地跑開源模型，這次 CUDA 側的 MoE 融合最佳化雖不直接作用於 Apple Silicon，但能幫你判斷 llama.cpp 各後端迭代節奏，並留意 macOS 建置中 KleidiAI 被停用對 MLX 之外推理路徑的影響。
原標題：b11370
閱讀原文
| 評分 | 62 / 62（平均 62，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
CUDA：將共享專家融合進 MMVQ（#29184）
CUDA：將共享專家融合進 MMVQ
檢查緩衝區是否為 null
將 stride_col_dst 移到融合引數中
網站：
https://llama.app
證明：
https://github.com/ggml-org/llama.cpp/attestations/52371643
macOS/iOS：
macOS Apple Silicon（arm64）
macOS Apple Silicon（arm64，啟用 KleidiAI）已停用
macOS Intel（x64）
iOS XCFramework
Linux：
Ubuntu x64（CPU）
Ubuntu arm64（CPU）
Ubuntu s390x（CPU）
Ubuntu x64（Vulkan）
Ubuntu arm64（Vulkan）
Ubuntu x64（CUDA 12）- CUDA 12.8 庫
Ubuntu x64（CUDA 13）- CUDA 13.4 庫
Ubuntu arm64（CUDA 13）- CUDA 13.4 庫
Ubuntu x64（ROCm 10.0）
Ubuntu x64（OpenVINO）
Ubuntu x64（SYCL FP32）
Ubuntu x64（SYCL FP16）
Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 安裝指南
Android：
Android arm64（CPU）
Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 安裝指南
Windows：
Windows x64（CPU）
Windows arm64（CPU）
Windows arm64（OpenCL Adreno）
Windows x64（CUDA 12）- CUDA 12.4 DLL
Windows x64（CUDA 13）- CUDA 13.4 DLL
Windows arm64（CUDA 13）- CUDA 13.4 DLL
Windows x64（Vulkan）
Windows x64（OpenVINO）
Windows x64（SYCL）
Windows x64（ROCm 10.0）
openEuler：
已停用
openEuler x86（310p）
openEuler x86（910b，ACL Graph）
openEuler aarch64（310p）
openEuler aarch64（910b，ACL Graph）
UI：
UI
由 AI 翻譯，以原文為準。
原文
CUDA: fuse shared experts into MMVQ ( #29184 )
CUDA: fuse shared experts into MMVQ
check if buffer is null
move stride_col_dst to fusion args
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/52371643
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI