搜尋
找到 4 筆;也可以試試 語意搜尋
llama.cpp releasesAI 評分42
llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元(GGML_OP_TOP_K_MASK),移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf,再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去;並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支,同時清理了核心格式。
llama.cpp releasesAI 評分47
llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。
llama.cpp releasesAI 評分47
llama.cpp 發布 b11926 建置,主要是給 GLM-5-Next 加上不帶 kq_mask 的 QSA 支援,同時改動 DSA 的 top-k mask,並已用 DeepSeek-V3.2 的第 0、3 層做過測試。
llama.cpp releasesAI 評分36
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。