機器之心● 精選AI 評分73
哈工大深圳與 NUS 提出 QuantWM，2-bit KV Cache 壓縮 6.2 倍
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分59
llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp releases● 精選AI 評分66
llama.cpp SYCL 新增量化 KV 快取的 DPAS flash attention 核心
llama.cpp 的 SYCL 後端新增 DPAS flash attention 核心，解碼與小批次（1 到 31 個 query token）可直接在 q4_0、q8_0 的 KV 塊上執行，不必做標量反量化或每次呼叫都把整個快取轉成 f16。Q.K 在 XMX 上使用 s8×s4 與 s8×s8 DPAS，V.P 仍保持 f16；覆蓋 head size 64 到 512、最多 32 的 GQA 與 attention sinks，prompt 階段仍走原有核心。
Hacker News front page● 精選AI 評分79
Cloudflare 修復 GLM-5.3 跨請求 KV 快取洩露
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露，155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日，隻影響長度超過 681,280 token 的提示詞：上下文視窗設為 1,048,576 token，但 prefill KV 池只有 681,280 token，SGLang 遇到超長請求時沒有返回錯誤，解碼節點反而讀取了殘留的快取頁。
llama.cpp releasesAI 評分56
llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援
llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。
llama.cpp releasesAI 評分47
llama.cpp b11411 修復 KV cache 旋轉後設資料不匹配問題
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp releasesAI 評分42
llama.cpp Vulkan 為 AMD 最佳化 f16/bf16 KV 複製
llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製：先把 KV 一次性拷到 scratch，使跨記憶體通道的讀取分散，而不是集中在少數通道上。改動刪掉了專用的反量化 shader，改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy，不需要 dequant；複製按源記憶體順序描述，讓跨步訪問落在順序寫入端。
llama.cpp releasesAI 評分41
llama.cpp 為 Hexagon NPU 支援 Q4_K/Q6_K tiled GET_ROWS
llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。
llama.cpp releases● 精選AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
llama.cpp releasesAI 評分36
llama.cpp 重構稀疏注意力 K 池選擇，與 kq_mask 形狀解耦
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀，改為在 KV cache 單元上按 [n_kv, n_tokens] 建置，到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局（例如按序列的行列表），不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
llama.cpp releasesAI 評分39
llama.cpp 修復 OpenCL 下狀態恢復丟失 KV-cache 的問題
llama.cpp 發布建置 b11910，修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復（state restore）被丟棄的問題（PR #30471）。
llama.cpp releasesAI 評分43
llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp releasesAI 評分44
llama.cpp 為 KleidiAI 加入 SME2 Q4_K/Q6_K 矩陣乘支援
llama.cpp 發布建置 b11604，為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援，補丁編號 #29219，提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件，這項改動面向支援該指令集的 Arm CPU，用於加速這兩種常用量化格式的矩陣乘法。同一版本中，macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED，openEuler 也有一項標註 DISABLED；
llama.cpp releasesAI 評分43
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp releasesAI 評分35
llama.cpp 為 SYCL 後端最佳化 q4_K/q5_K 反量化
llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。
機器之心● 精選AI 評分76
阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
llama.cpp releasesAI 評分46
llama.cpp 為 Hexagon NPU 多核 flash attention 加入 KV 頭拆分
llama.cpp 新建置 b11868 給驍龍 Hexagon NPU 的多核 HMX flash attention 加入了 KV 頭分組拆分，並把原來的 FA_HEAD_SPLIT 與 FA_SPLIT 兩套開關合併為單一開關 GGML_HEXAGON_FA_SPLIT。設為 0 時只做 token 拆分；
llama.cpp releasesAI 評分43
llama.cpp b11811 為 KleidiAI 增加 Q8_0 與 i8mm 核心
llama.cpp 發布建置 b11811，為 KleidiAI 後端新增 Q8_0 的 SVE dotprod GEMV 與 SVE i8mm GEMM 核心（#30808），即面向 Arm 平台的量化運算加速。
llama.cpp releasesAI 評分40
llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
Kimi blog● 精選AI 評分90
Kimi 開源 K2.6：主打長程編碼與 Agent 叢集
Kimi 開源最新模型 K2.6，主打編碼、長程執行與 agent swarm，已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化，經 4000+ 次工具呼叫、12 小時、14 輪迭代，吞吐從約 15 提升到約 193 tokens/s，比 LM Studio 快約 20%；另以 13 小時重構 8 年曆史的 exchange-core，中等吞吐提升 185%。
llama.cpp releasesAI 評分41
llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
llama.cpp releases● 精選AI 評分74
llama.cpp CUDA 重做 top-k 選擇：大行數改用 radix
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。
llama.cpp releasesAI 評分50
llama.cpp b11713：CUDA 低位元量化 MMVQ 提速
llama.cpp 發布 b11713，CUDA 後端針對低位元型別的 MMVQ 矩陣乘向量計算提速，同時修復 HIP 在 small nwarps GCN 上 Q3_K（ncols=2、3）與 Q6_K（ncols=4）的問題。
llama.cpp releasesAI 評分40
llama.cpp 修復 qkx3 量化縮放搜尋的非法舍入
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
r/LocalLLaMA top of the dayAI 評分38
LocalLLaMA 討論：大模型用 IQ1_S 量化到底行不行
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
llama.cpp releasesAI 評分42
llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
llama.cpp releasesAI 評分43
llama.cpp 為 OpenCL 後端新增兩個 MoE dp4a 矩陣乘核心
llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心：kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin，分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法，並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。