搜尋

找到 4 筆；也可以試試語意搜尋

llama.cpp releases10/26 08:58AI 評分40

b11890

llama.cpp 發布 b11890 建置，集中修復 DeepSeek V4.1（DSV4）的支援。該版本中，KV-cache 的 DSV4 K mirror 改用 ggml_backend_tensor_copy 填充，Engram pad id 與 token map 分別移入 llama_hparams 和 llama_model，saver 不再需要 deepseek41 模型類；

地端推論開源 llama.cpp DeepSeek V4.1 KV cache ggml 建置發布

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/30 08:11AI 評分44

b12006: memory: refuse rollbacks past the snapshots of the last ubatch (#31368)

llama.cpp 建置 b12006 讓 recurrent 快取與 DSV4 快取拒絕超出上一個 ubatch 所保證快照的回滾。此前 seq_rm 允許回滾到 n_rs_seq 內的任意位置，即使該快照並非由上一個 ubatch 寫入；新邏輯下，n 個 token 的 ubatch（n <= n_rs_seq+1）只保證回滾到 n-1，更長的 ubatch 只保證 0，DSV4 的上限則是 min(n, n_rs_seq)，其快照由 ubatch 前的狀態重建。

地端推論開源 llama.cpp 狀態回滾 recurrent memory DSV4 ubatch

閱讀原文

llama.cpp releases10/28 15:25AI 評分43

b11965: llama : remove simple batch splitting for DSV4 (#31300)

llama.cpp 合入 PR #31300，移除 DeepSeek V4 的簡單批次拆分邏輯，改用已有的序列拆分，讓 n_seq_tokens 與 compressor padding 的計算保持一致。同時還修復了簡單批次下的 compressor padding：寫入時按每條序列的實際 token 數計算，避免奇數尺寸批次出錯。此次還新增 graph 複用迴歸測試，覆蓋單序列與雙序列在不同位置、固定 ubatch 形狀以及 6-token 批次的情況。

地端推論開源 llama.cpp DeepSeek V4 批處理迴歸測試 Codex

閱讀原文

llama.cpp releases10/18 18:08AI 評分40

llama.cpp CUDA 後端融合 Qwen4Exp 四段運算元鏈

llama.cpp 建置 b11721 在 CUDA 後端把 Qwen4Exp 的 SCALE → SIGMOID → SCALE → hc_post 鏈融合成單個 kernel，由四個 kernel 縮減為一個，程式碼移植自 Vulkan 的 HC_POST_GATE 融合（#29520）。實現上 dsv4_hc_post_f32 新增 gated 模板標誌，直接用原始權重計算 scale_out·sigmoid(scale_in·p)；

地端推論開源 llama.cpp CUDA Vulkan Qwen 核心融合

閱讀原文