AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分42

llama.cpp 的 Metal 後端新增融合 top-k mask 運算元

llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元(GGML_OP_TOP_K_MASK),移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf,再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去;並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支,同時清理了核心格式。

llama.cpp releasesAI 評分47

llama.cpp b11800 新增 QSA mask 融合運算元,並將 k-pool mask 推廣為通用實現

llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。

llama.cpp releasesAI 評分36

llama.cpp 重構稀疏注意力 K 池選擇,與 kq_mask 形狀解耦

llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。