llama.cpp b12088 為 LFM3 GGUF 模型啟用 NVFP4 支援
llama.cpp 發布 b12088 版本,在模型側為 LFM3 的 GGUF 模型啟用 NVFP4 支援。同批預編譯包覆蓋 macOS Apple Silicon、iOS、Windows、Android,以及 Linux 上的 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 後端;Snapdragon 版本提供 CPU、Adreno GPU、Hexagon NPU 三條路徑。
原標題:b12088
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b12000 支援 OCP FP8 E4M3 量化
llama.cpp 發布 b12000,新增 OCP FP8 E4M3 支援,覆蓋模型轉換、CPU 推理與 gguf-py 工具鏈,並修復 RedHatAI/Qwen3.8-27B-NVFP4 的轉換問題。轉換路徑補齊了 FP8 權重與 input_scales 的處理,改為結合 dtype 判斷,避免按行 FP8 被誤判走 NVFP4。
llama.cpp b12084 為 LFM3 投機解碼記錄層輸入
llama.cpp 發布建置 b12084,唯一實質改動是在 LFM3 的投機解碼中記錄層輸入(#31598)。發布頁其餘內容是各平台預編譯產物的例行更新,覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux 的 CPU/Vulkan/CUDA 12 與 13/ROCm 10.0/OpenVINO/SYCL,以及 Android 和 Windows x64、arm64。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 建置 b12028 在測試中啟用 Gemma 4 並採用 GQA
llama.cpp 發布建置 b12028,在 test-llama-archs 中啟用 Gemma 4,並讓該測試對 Gemma 4 採用 GQA。該版本照例提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,涵蓋 CUDA、Vulkan、ROCm、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端;
llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加
llama.cpp 發布 b11417 建置,CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化,改進 mmq_vec_dot_fp4_fp4_mma 以提升效能,並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端;