llama.cpp 重構稀疏注意力 K 池選擇,與 kq_mask 形狀解耦
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
2026 年 10 月 21 日,llama.cpp 發布 b11800,為 QSA 新增融合運算元,並把原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用的 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。據發布說明,該運算元保留 top-k 選中單元與額外保留的 mask 單元、其餘置為 -inf,score、blocks、extra 均為可選引數,可按 head 逐行選擇;後端不支援時會回退原路徑。10 月 27 日的 b11936 進一步讓 qwen4exp(QSA)與 glm5-next 的稀疏選擇不再跟隨 kq_mask 形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流,使 dense mask 可以自行改變佈局(例如按序列的行列表)而不必改動稀疏層;該版本還刪除了 build_fused_top_k_mask 中未使用的引數,Georgi Gerganov 參與提交。影響主要在本地用 llama.cpp 執行上述模型的使用者:在不支援新運算元的後端上仍走舊路徑,行為不變。
AI 根據 2 則報導生成 · 更新
沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。
過去 48 小時,有 0 個獨立來源報導,最近 6 小時新增 0 個。熱度 0.0。
熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。
同一事件的報導集中在這裡,新的進展會繼續補充。