AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分37

llama.cpp b11748 修復 SYCL 重排量化權重的 get_rows

llama.cpp 發布 b11748 建置,主要修復 SYCL 後端在重排後的量化權重上呼叫 get_rows 的問題(PR #30430)。該版本同時更新了多平台預編譯產物:macOS/iOS 的 XCFramework、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 建置,以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 支援。

llama.cpp releasesAI 評分42

llama.cpp 修復 OpenCL 下 Q4_K 權重映象超限,改為回退

llama.cpp 建置 b11558 修復了 OpenCL 後端處理 Q4_K 量化權重時的映象大小限制:當權重映象超出裝置限制時改為回退,而不是直接失敗。同一批提交還修正了 q4_0 的廣播邏輯,並避免 rms_norm 中出現不完整的子組計算,提交者來自高通(qti.qualcomm.com)。

llama.cpp releasesAI 評分43

llama.cpp 為 OpenCL 後端新增兩個 MoE dp4a 矩陣乘核心

llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心:kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin,分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法,並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。

llama.cpp releasesAI 評分45

llama.cpp b11680:Hexagon 後端重構張量重打包,支援分塊量化與 FP 權重

llama.cpp 發布建置 b11680,Hexagon NPU 後端完成張量重打包(repacking/tiling)重構:新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援,分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack,並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯,最佳化小 src1 的 get-rows 效能。