搜尋

llama.cpp 為 CUDA 加入 384 專家的 Top-K MoE 融合

llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。