llama.cpp 在 /v1/messages 上轉發取樣引數
llama.cpp 新建置 b11795 讓伺服器在 /v1/messages 介面上轉發 llama.cpp 原生取樣引數,使用者可通過 extra_params 欄位傳入,README 範例已同步展示。該介面原先只複製白名單內的鍵,現在改為整個請求直接透傳,以減少欄位丟失。
找到 4 筆;也可以試試 語意搜尋
llama.cpp 新建置 b11795 讓伺服器在 /v1/messages 介面上轉發 llama.cpp 原生取樣引數,使用者可通過 extra_params 欄位傳入,README 範例已同步展示。該介面原先只複製白名單內的鍵,現在改為整個請求直接透傳,以減少欄位丟失。
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題:服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單,遺漏了 id_slot,導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽,在混合/迴圈模型上還要重新做完整的 prefill。
Claude API 的快取診斷功能已脫離 beta,不再需要 cache-diagnosis-2026-04-07 請求頭。開發者可在 Messages 請求中帶上 diagnostics 物件來啟用;繼續傳送舊請求頭的呼叫方式不受影響。POST /v1/messages 的回應現在始終包含 diagnostics 欄位,未啟用時該欄位為 null。
純 Go 重寫的 Nexus-CLI 讓免費 DeepSeek 網頁帳號(chat.deepseek.com)接管 V3 與 R1 模型,無需官方付費 API Key。它的 nexus serve 同時提供 OpenAI 相容介面、Anthropic /v1/messages(作者稱與 Claude Code 100% 相容)和模擬 Ollama 的 /api/tags、/api/chat,可直接接入 Cursor、Cline、Open WebUI 等客戶端。