2026 年 10 月 3 日，llama.cpp 合併了 PR #29825（作者 ServeurpersoCom），把 Qwen Flash Next 等 Qwen4 模型的索引器分數視訊記憶體佔用減半。據該 PR 描述，實測在上下文 131072、ub 2048 時視訊記憶體從 3.0 GiB 降至 1.5 GiB，在 262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入存在差異；r/LocalLLaMA 上有使用者反饋解碼速度約降 10%，但未給出具體數字。同日發布的 b11372 說明了實現細節：原先圖中同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，是長上下文下最大的緩衝區，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數；CUDA 新增對 4 頭的支援，Metal 以函式常量讀取頭數並零填充最後一個頭 tile，使任意頭數都能執行、64 頭行為不變，Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積；索引器改為呼叫 ggml_lightning_indexer，鍵對所有頭只讀一次，不再物化逐頭分數。有使用者推測這些改動同樣適用於其他 Qwen4 模型。對在本地以長上下文執行 Qwen4 系列模型的人來說，視訊記憶體門檻明顯降低，但解碼速度可能略有損失。
AI 根據 2 則報導生成 · 10/4 12:00 更新
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
過去 48 小時，有 2 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.7，熱門榜第 32 名。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
同一事件的報導集中在這裡，新的進展會繼續補充。