AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

llama.cpp releases● 精選AI 評分63

llama.cpp 的 OpenCL 後端新增 IQ2 系列量化,並針對 Adreno GPU 最佳化

llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化(iq2_s、iq2_xs、iq2_xxs)的支援,並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑,並最佳化了 Adreno 上的 decode 與窄批次場景。

r/LocalLLaMA top of the dayAI 評分38

LocalLLaMA 討論:大模型用 IQ1_S 量化到底行不行

r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途:創意寫作、閒聊可容忍 IQ1/IQ2,但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6,GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用;也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。