llama.cpp b11901 將 SYCL 重排臨時記憶體限制在 32 MiB
llama.cpp 發布 b11901 建置，SYCL 後端的重排（reorder）臨時記憶體被限制在 32 MiB（PR #31062）。該版本照例提供各平台預編譯包，包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。
原標題：b11901
閱讀原文
| 評分 | 38 / 40（平均 39，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11748 修復 SYCL 重排量化權重的 get_rows
llama.cpp 發布 b11748 建置，主要修復 SYCL 後端在重排後的量化權重上呼叫 get_rows 的問題（PR #30430）。該版本同時更新了多平台預編譯產物：macOS/iOS 的 XCFramework、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 建置，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 支援。
llama.cpp b11693 修復 SYCL 後端 mul_mat 記憶體錯誤
llama.cpp 發布建置 b11693，核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤（PR #29889）。該版本同時更新了預編譯產物清單，覆蓋 macOS/iOS、Linux、Windows、Android，包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。
llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；