llama.cpp b11919 修正 OpenCL 矩陣乘法負索引
llama.cpp 發布 b11919,主要改動是修正 OpenCL 後端矩陣乘法中 id 為 -1 的索引處理(PR #31170,由 Codex 協助)。其餘為常規多平台建置產物更新,覆蓋 macOS Apple Silicon、iOS、Android、Windows 與 Linux 的 CPU、Vulkan、CUDA 12/13、ROCm、SYCL、OpenVINO 等後端。
原標題:b11919
閱讀原文
| 評分 | 35 / 35(平均 35,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11693 修復 SYCL 後端 mul_mat 記憶體錯誤
llama.cpp 發布建置 b11693,核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤(PR #29889)。該版本同時更新了預編譯產物清單,覆蓋 macOS/iOS、Linux、Windows、Android,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。
llama.cpp 修復 Adreno OpenCL 的 q8_0 dp4a MoE 計算錯誤
llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法(MUL_MAT_ID)與 GEMM 的最小值處理錯誤,避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID,不再走不支援的精度路徑。
llama.cpp 修復 OpenCL 下狀態恢復丟失 KV-cache 的問題
llama.cpp 發布建置 b11910,修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復(state restore)被丟棄的問題(PR #30471)。
llama.cpp OpenCL 後端新增多個小批次 GEMM 變體並修復越界讀
llama.cpp 建置 b11763 為 OpenCL 後端補上多個面向小批次的 GEMM/GEMV 核心變體,並修復 mul_mv_mxfp4_f32_flat 的越界讀取。新增項包括 q4_k dp4a GEMM 的小批次變體、mul_mm_f16_f32_l4_lm 的窄化變體,以及大 M 時 gemv_noshuffle_q1_0_f32 的單 subgroup 變體,並按 workgroup 大小限制 q4_0 mc3 的 subgroup 數量。
llama.cpp 為 OpenCL 新增 dp4a GEMM 變體並重新命名核心
llama.cpp 建置 b11789 為 OpenCL 後端新增支援向量化啟用載入的 dp4a GEMM 變體,用於提升量化矩陣乘的推理效率,同時重新命名了相關核心與環境變數。