搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/20 13:52AI 評分42

llama.cpp 的 Anthropic 相容端點開始透傳 id_slot

llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題：服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單，遺漏了 id_slot，導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽，在混合/迴圈模型上還要重新做完整的 prefill。

地端推論開源 id_slot Anthropic /v1/messages KV cache 自動槽位選擇 llama.cpp server

閱讀原文

llama.cpp releases10/10 19:54AI 評分46

llama.cpp 修復繁忙 slot 被載入錯誤上下文的問題

llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新，若 RAM 快取命中更好的匹配，就會把新上下文載入仍在生成中的 slot，導致生成在錯誤上下文上繼續；現在繁忙 slot 會原樣返回，請求排隊等待（#30295）。

地端推論開源 llama.cpp b11552 伺服器 slot 排程 prompt cache

閱讀原文