依意思最接近的 30 筆
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。
llama.cpp 發布建置 b11811，為 KleidiAI 後端新增 Q8_0 的 SVE dotprod GEMV 與 SVE i8mm GEMM 核心（#30808），即面向 Arm 平台的量化運算加速。
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
llama.cpp 發布 b11718，恢復 FFN 路徑上的 ESIMD 核心，並將 FFN 路徑的 ESIMD 融合擴充套件到 Q8_0 量化。該改動由 Intel 的 Todd Malsbary 提交，同時移除了 test-backend-ops 中顯式引用 ESIMD 的註釋。
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp 新版本 b11883 修復了 llama-quant 的 4D 張量量化錯誤：原先按 ne[1]*ne[2] 統計行數，導致 4D 張量只有前 ne[2] 個切片被量化、其餘行被丟棄，現改用 ggml_nrows() 統計包含 ne[3] 在內的全部行。
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。
llama.cpp 的 WebGPU 後端新增 Q2_0 量化支援，分別實現了 Q2_0 的行反量化與矩陣乘法，使 2-bit 量化模型可以執行在 WebGPU 上。該改動包含在建置版本 b11809 中；同批建置覆蓋 macOS/iOS、Linux、Windows、Android 上的 CPU，以及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等後端，並附有各平台產物的驗證連結。
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型，由 IBM 的 Aaron Teo 提交，並同步更新了 zdnn 文件。zdnn 面向 IBM Z（s390x）平台，目前這一支援仍屬初步原型。
llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；
llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
EinsiaAI 旗下 Navers Lab 發布 Quant Arena，讓 9 個大模型在 3042 只 A 股的真實資料上自行編寫策略、回測和迭代；結果 5 個模型虧本、無一跑贏市場基準。研究期使用 2022—2023 年行情，每個模型最多進行 5 次候選評估；策略凍結後僅在 2024 年封存資料上評估一次。收益最高的 GPT-6 Astra 年化收益率 10.7%、最大回撤 -6.8%，仍低於 17.1% 的市場基準；
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp 發布建置 b11680，Hexagon NPU 後端完成張量重打包（repacking/tiling）重構：新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援，分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack，並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯，最佳化小 src1 的 get-rows 效能。
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
llama.cpp 發布 b11784 建置，主要修復 SYCL 後端在 IQ3 量化下的崩潰問題（#30604）。同一版中，macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED，本輪不提供。
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 發布 b11713，CUDA 後端針對低位元型別的 MMVQ 矩陣乘向量計算提速，同時修復 HIP 在 small nwarps GCN 上 Q3_K（ncols=2、3）與 Q6_K（ncols=4）的問題。