llama.cpp CUDA 後端為 XIELU 啟用函式補上 BF16 支援

llama.cpp releases10/6 20:36版本更新地端推論開源

llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援，此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化，這次只是在 launcher 里加上 nv_bfloat16 分支，並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。

原標題：b11457
閱讀原文

評分	45 / 50（平均 47，門檻 60）
狀態	未入選

原文

cuda : add BF16 support for XIELU ( #29955 ) The XIELU CUDA kernel template is already generic over the element type; only the F32/F16 type assertion and the else-if dispatch were missing. Add the nv_bfloat16 branch to the launcher, and drop the temporary supports_op gate in ggml-cuda.cu that rejected BF16+XIELU. test-backend-ops gains two BF16 cases ([10,5,4,3] and [512,16,1,1]). docs/ops/CUDA.csv and docs/ops.md are regenerated; the F32 xIELU row flips from no to yes as well, i.e. the previous record was stale. Tested: Mac CPU: xIELU F32/F16/BF16, 6/6 Mac Metal: existing F32/F16, 4/4; BF16 still unsupported RTX 4090 CUDA: xIELU F32/F16/BF16, 6/6 RTX 4090 CUDA BF16-only: 2/2 git diff --check passes Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/53344987 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releases10/6 18:34AI 評分45

llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

地端推論開源 llama.cpp CUDA BF16 FP16 cuBLAS

閱讀原文

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

閱讀原文

llama.cpp releases10/4 20:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

閱讀原文

llama.cpp releases10/4 19:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

閱讀原文

llama.cpp releases10/5 05:24AI 評分42

llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法

llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。

地端推論開源 llama.cpp CUDA MMVF mul_mat kernel

閱讀原文