llama.cpp 發布 b11784,修復 SYCL IQ3 崩潰
llama.cpp 發布 b11784 建置,主要修復 SYCL 後端在 IQ3 量化下的崩潰問題(#30604)。同一版中,macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED,本輪不提供。
原標題:b11784
閱讀原文
| 評分 | 40 / 40(平均 40,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11750,修復 SYCL 編譯警告
llama.cpp 發布 b11750 建置,主要變更是修復 SYCL 後端程式碼的編譯警告,包括缺失的函式原型、死程式碼與多餘分號(#30271)。同時照例提供全平台預編譯包,覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu 的 CPU/Vulkan/CUDA 12 與 CUDA 13/ROCm 10.0/OpenVINO/SYCL FP32 與 FP16 建置,以及 Android、Windows 的 CPU、CUDA、Vulkan…
llama.cpp b11788 修復 SYCL Flash Attention 崩潰
llama.cpp 發布建置 b11788,修復 SYCL 後端在 Flash Attention 下因 Query 頭維度不匹配(neq0 ≠ HSK,D=2048/4096)觸發的崩潰(#30286)。其餘是常規預編譯包的更新,覆蓋 macOS Apple Silicon、Linux 與 Windows 的 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 和 SYCL;
llama.cpp b11706 修復 SYCL prompt 處理迴歸
llama.cpp 發布 b11706,修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸(#30374)。該版本同時更新各平台預編譯包,覆蓋 macOS、Linux、Windows、Android,含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp b11460:SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp SYCL 後端為 IQ3 加持久權重重排,解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排,在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次,MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊,重排感知的反量化也接入批次 prefill 的 GEMM。