AISpot
熱點事件 · 持續更新

llama.cpp 新增 QSA 融合運算元並重構稀疏注意力選擇

2 則報導1 個報導來源 更新

先了解這件事AI 綜述

2026 年 10 月 21 日,llama.cpp 發布 b11800,為 QSA 新增融合運算元,並把原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用的 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。據發布說明,該運算元保留 top-k 選中單元與額外保留的 mask 單元、其餘置為 -inf,score、blocks、extra 均為可選引數,可按 head 逐行選擇;後端不支援時會回退原路徑。10 月 27 日的 b11936 進一步讓 qwen4exp(QSA)與 glm5-next 的稀疏選擇不再跟隨 kq_mask 形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流,使 dense mask 可以自行改變佈局(例如按序列的行列表)而不必改動稀疏層;該版本還刪除了 build_fused_top_k_mask 中未使用的引數,Georgi Gerganov 參與提交。影響主要在本地用 llama.cpp 執行上述模型的使用者:在不支援新運算元的後端上仍走舊路徑,行為不變。

AI 根據 2 則報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。

10月27日星期二 · 1 則

  1. llama.cpp releases官方

    llama.cpp 重構稀疏注意力 K 池選擇,與 kq_mask 形狀解耦

    llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。

10月21日星期三 · 1 則

  1. llama.cpp releases官方

    llama.cpp b11800 新增 QSA mask 融合運算元,並將 k-pool mask 推廣為通用實現

    llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。

本事件熱度走勢

最高 1.0

為什麼熱

過去 48 小時,有 0 個獨立來源報導,最近 6 小時新增 0 個。熱度 0.0。

熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。

事件紀錄

最早報導
最近更新

同一事件的報導集中在這裡,新的進展會繼續補充。