llama.cpp releasesAI 評分37
llama.cpp 為 OpenCL 後端加入 iq4_xs 量化支援
llama.cpp 建置 b12069 在 OpenCL 後端加入 iq4_xs 量化支援,主要面向 Adreno GPU。更新包含 AOS/SOA 矩陣向量乘、tiled mm、noshuffle gemm/gemv 與 dp4a 實現,並針對 Adreno 最佳化解碼與窄 batch;提交中有高通工程師參與。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 建置 b12069 在 OpenCL 後端加入 iq4_xs 量化支援,主要面向 Adreno GPU。更新包含 AOS/SOA 矩陣向量乘、tiled mm、noshuffle gemm/gemv 與 dp4a 實現,並針對 Adreno 最佳化解碼與窄 batch;提交中有高通工程師參與。
llama.cpp 修復了 -hf 從 Hugging Face 拉取 GGUF 時量化標籤按子串誤匹配的問題。此前 :F16 會在倉庫同時有 BF16 時選中 BF16 檔案,:Q4_XS 也會誤中 IQ4_XS;現在標籤必須從路徑中的 token 邊界開始,並新增下劃線作為邊界,因此 step3p5_flash_Q4_K_S-00001-of-00012.gguf 這類命名可正常匹配 :Q4_K_S。