llama.cpp releasesAI 評分47
b11926
llama.cpp 發布 b11926 建置,主要是給 GLM-5-Next 加上不帶 kq_mask 的 QSA 支援,同時改動 DSA 的 top-k mask,並已用 DeepSeek-V3.2 的第 0、3 層做過測試。
找到 4 筆;也可以試試 語意搜尋
llama.cpp 發布 b11926 建置,主要是給 GLM-5-Next 加上不帶 kq_mask 的 QSA 支援,同時改動 DSA 的 top-k mask,並已用 DeepSeek-V3.2 的第 0、3 層做過測試。
MLX 發布 v0.30.7,新增 GLM5 與 Qwen3.5 系列(不含視覺)支援,並修復 Kimi Linear、DeepSeek V3.2 索引器與權重載入問題。該版本為 LFM2 模型加入 Pythonic 工具呼叫,新增 Mistral 工具解析器與 LongCat MLA,同時提升 DeepSeek V3.2 生成速度,訓練流程中驗證集改為可選。
MLX 發布 v0.30.6,新增 Kimi-K2.5、LongCat Flash、LongCat Flash Lite、Step 3.5 Flash 等模型支援,並修復 Deepseek V3.2、GLM 4.7 工具呼叫等問題。該版本還加入 Transformers v5 支援、服務端分散式推理、自訂模型載入,以及 chat_template_kwargs 和 top_logprobs 引數支援。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。