b11965: llama : remove simple batch splitting for DSV4 (#31300)
llama.cpp 合入 PR #31300,移除 DeepSeek V4 的簡單批次拆分邏輯,改用已有的序列拆分,讓 n_seq_tokens 與 compressor padding 的計算保持一致。同時還修復了簡單批次下的 compressor padding:寫入時按每條序列的實際 token 數計算,避免奇數尺寸批次出錯。此次還新增 graph 複用迴歸測試,覆蓋單序列與雙序列在不同位置、固定 ubatch 形狀以及 6-token 批次的情況。
原標題:b11965: llama : remove simple batch splitting for DSV4 (#31300)
閱讀原文
| 評分 | 44 / 42(平均 43,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新增 DeepSeek-V4.1-Flash 支援
llama.cpp 建置 b11870 加入 DeepSeek-V4.1-Flash(deepseek41)模型支援,同時移除 MXFP8、把 Engram 錶轉為 BF16。同批改動把壓縮 KV 的讀取層改為在快取中只算一次,Engram 行改為圖內 gather(與 qwen4exp 一致)、去掉主機側 gather,top-k 行在稀疏 gather 前先排序,並刪除 LLAMA_DSV41_KV_MIRROR 開關;
b11926
llama.cpp 發布 b11926 建置,主要是給 GLM-5-Next 加上不帶 kq_mask 的 QSA 支援,同時改動 DSA 的 top-k mask,並已用 DeepSeek-V3.2 的第 0、3 層做過測試。
llama.cpp v0.6.0 發布:新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp 修復 Tekken 與 GPT-4o 分詞器正則
llama.cpp 發布 b11753 版本,主要變更是給 Tekken 與 GPT-4o 預分詞器正則的前瞻斷言加入 \p{M},用於正確處理附加符號類字元。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 支援批次內混合 embd 與原始 token
llama.cpp 合併 PR #29622,在單一批次中同時支援嵌入向量(embd)和原始 token,並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type,並統一 m-rope 位置處理。