搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/29 08:12AI 評分57

b11986: opencl: initial support for iq2 (#31267)

llama.cpp 的 OpenCL 後端在提交 b11986（PR #31267）中加入 IQ2 量化的初始支援，覆蓋 IQ2_S、IQ2_XS、IQ2_XXS 三種格式。每種格式都新增了 AOS 與 SOA 矩陣向量乘、tiled matmul，以及面向 Adreno GPU 的 noshuffle gemm/gemv 與 dp4a 路徑。三種格式在 Adreno 上的解碼與窄 batch 也分別做了最佳化。改動由高通工程師 Hongqiang Wang 參與共同編寫；

地端推論開源 OpenCL IQ2 量化 Adreno llama.cpp

閱讀原文

r/LocalLLaMA top of the day10/3 11:47AI 評分38

LocalLLaMA 討論：大模型用 IQ1_S 量化到底行不行

r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。

地端推論開源量化 GGUF IQ1_S NVFP4 本地推理

閱讀原文