AISpot

b11965: llama : remove simple batch splitting for DSV4 (#31300)

llama.cpp releases版本更新地端推論開源開發工具

llama.cpp 合入 PR #31300,移除 DeepSeek V4 的簡單批次拆分邏輯,改用已有的序列拆分,讓 n_seq_tokens 與 compressor padding 的計算保持一致。同時還修復了簡單批次下的 compressor padding:寫入時按每條序列的實際 token 數計算,避免奇數尺寸批次出錯。此次還新增 graph 複用迴歸測試,覆蓋單序列與雙序列在不同位置、固定 ubatch 形狀以及 6-token 批次的情況。

原標題:b11965: llama : remove simple batch splitting for DSV4 (#31300)
閱讀原文

評分44 / 42(平均 43,門檻 60)
狀態未入選

原文

llama : fix DSV4 compressor padding for simple batches Count actual tokens per sequence when padding compressor writes. Add a graph reuse regression test for odd-sized DeepSeek V4 and V4.1 batches. Assisted-by: Codex tests : cover multiple sequences in DSV4 padding regression Exercise one and two sequences at different positions while keeping a fixed ubatch shape. Assisted-by: Codex llama : remove simple batch splitting for DSV4 Use the existing sequence splitting to keep n_seq_tokens consistent with the compressor padding calculation. Extend the graph reuse regression to 6-token batches. Assisted-by: Codex

相關報導

llama.cpp releases● 精選AI 評分62

llama.cpp 新增 DeepSeek-V4.1-Flash 支援

llama.cpp 建置 b11870 加入 DeepSeek-V4.1-Flash(deepseek41)模型支援,同時移除 MXFP8、把 Engram 錶轉為 BF16。同批改動把壓縮 KV 的讀取層改為在快取中只算一次,Engram 行改為圖內 gather(與 qwen4exp 一致)、去掉主機側 gather,top-k 行在稀疏 gather 前先排序,並刪除 LLAMA_DSV41_KV_MIRROR 開關;

llama.cpp releases● 精選AI 評分82

llama.cpp v0.6.0 發布:新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。

llama.cpp releasesAI 評分40

llama.cpp 修復 Tekken 與 GPT-4o 分詞器正則

llama.cpp 發布 b11753 版本,主要變更是給 Tekken 與 GPT-4o 預分詞器正則的前瞻斷言加入 \p{M},用於正確處理附加符號類字元。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

llama.cpp releasesAI 評分41

llama.cpp 支援批次內混合 embd 與原始 token

llama.cpp 合併 PR #29622,在單一批次中同時支援嵌入向量(embd)和原始 token,並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type,並統一 m-rope 位置處理。