vLLM 0.31 加入約束解碼，工具呼叫結構準確率達 100%
vLLM 0.31 新增服務端開關，啟用約束解碼後工具呼叫的 schema 準確率可達 100%。此前用 vLLM 0.28 部署 Kimi K2.6 時，只有 92% 的工具呼叫符合預期結構，相當於每 25 次就有 2 次失敗。該特性對新版 Kimi 與 DeepSeek 模型可保證輸出遵循 schema，主要影響依賴多輪工具呼叫的 agent 負載。
給出 92% 到 100% 的具體實測差距與修復所在版本，說明自託管推理側的結構合規問題已有官方解法，對用 vLLM 部署 Kimi、DeepSeek 跑 agent 的人最有用。
原標題：Fixing Tool-Call Accuracy in vLLM
閱讀原文
| 評分 | 76 / 76（平均 76，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
b11890
llama.cpp 發布 b11890 建置，集中修復 DeepSeek V4.1（DSV4）的支援。該版本中，KV-cache 的 DSV4 K mirror 改用 ggml_backend_tensor_copy 填充，Engram pad id 與 token map 分別移入 llama_hparams 和 llama_model，saver 不再需要 deepseek41 模型類；
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。