搜尋

r/LocalLLaMA 熱議低位元量化對編碼任務的影響

r/LocalLLaMA 上一則帖子引發討論：FP8/BF16 使用者看到有人跑 IQ1_S 量化感到震驚。多位使用者指出，IQ1/IQ2 這類極端量化只適合創意寫作或閒聊，用於編碼、複雜邏輯推理或結構化 JSON 提取時困惑度飆升、語法和邏輯明顯崩壞；而 Q4_K_M 或 Q5_K_M 通常是多數模型的甜點區，困惑度曲線相對平坦、視訊記憶體佔用大幅下降且推理能力幾乎無損。