llama.cpp 在 /v1/messages 上轉發取樣引數
llama.cpp 新建置 b11795 讓伺服器在 /v1/messages 介面上轉發 llama.cpp 原生取樣引數，使用者可通過 extra_params 欄位傳入，README 範例已同步展示。該介面原先只複製白名單內的鍵，現在改為整個請求直接透傳，以減少欄位丟失。
原標題：b11795
閱讀原文
| 評分 | 45 / 45（平均 45，門檻 60） |
|---|
| 狀態 | 未入選 |
|---|
原文
server : forward llama.cpp sampling params on /v1/messages ( #30856 )
server : forward llama.cpp sampling params on /v1/messages
server : pass the request through on /v1/messages instead of copying listed keys
NIT: Change comment from multiline to single line
server : accept llama.cpp params under extra_params on /v1/messages
server : remove test case for trivial functionality
server : show extra_params in the /v1/messages README example
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/58197214
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分42
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題：服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單，遺漏了 id_slot，導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽，在混合/迴圈模型上還要重新做完整的 prefill。
llama.cpp releases● 精選AI 評分82
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp releasesAI 評分25
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp releases● 精選AI 評分69
llama.cpp 合併 PR #27694，為 simple draft 與 MTP 推測解碼引入機率取樣：草稿端按機率取樣，目標模型用拒絕取樣驗證，並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交，隨各平台建置一同發布。
llama.cpp releasesAI 評分40
llama.cpp 發布建置 b11641，其中 spec（推測解碼）新增 lilicorr 支援（PR #30506），是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式，併為 llama-batch.cpp 中的 hparam 使用留下 TODO，另有一處 typo 修復，提交由 Georgi Gerganov 共同署名。