llama.cpp 的 OpenCL 後端初步支援 IQ3 量化
llama.cpp 的 OpenCL 後端加入對 IQ3 量化的初步支援,覆蓋 iq3_s 與 iq3_xxs 兩種型別。這批提交為 Adreno GPU 補齊了 AOS/SOA 矩陣向量乘、tiled 矩陣乘、noshuffle 的 GEMM/GEMV 與 dp4a 路徑,並最佳化了 Adreno 上的解碼與窄 batch 場景。改動由高通工程師參與合入,建置產物中已包含 Windows arm64 OpenCL Adreno 版本。
原標題:b12031
閱讀原文
| 評分 | 48 / 50(平均 49,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 的 OpenCL 後端新增 IQ2 系列量化,並針對 Adreno GPU 最佳化
llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化(iq2_s、iq2_xs、iq2_xxs)的支援,並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑,並最佳化了 Adreno 上的 decode 與窄批次場景。
llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援
llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援,重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel,並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優,高通工程師參與共同提交。
llama.cpp b12005 為 OpenCL 後端加入 q2_0 支援
llama.cpp b12005 為 OpenCL 後端加入初始 q2_0 支援,並針對 Adreno GPU 實現 AOS/SOA mv、tiled mm、noshuffle gemm/gemv 與 dp4a,同時最佳化 q2_0 在 Adreno 上的解碼和窄批次表現。相關提交由高通工程師參與,改動集中在 OpenCL 後端的 q2_0 核心與 Adreno 適配;
llama.cpp b11460:SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp 修復 Adreno OpenCL 的 q8_0 dp4a MoE 計算錯誤
llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法(MUL_MAT_ID)與 GEMM 的最小值處理錯誤,避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID,不再走不支援的精度路徑。