llama.cpp releases● 精選AI 評分63
llama.cpp 的 OpenCL 後端新增 IQ2 系列量化,並針對 Adreno GPU 最佳化
llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化(iq2_s、iq2_xs、iq2_xxs)的支援,並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑,並最佳化了 Adreno 上的 decode 與窄批次場景。