llama.cpp 的 Anthropic 相容端點開始透傳 id_slot
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題:服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單,遺漏了 id_slot,導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽,在混合/迴圈模型上還要重新做完整的 prefill。
原標題:b11756
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復繁忙 slot 被載入錯誤上下文的問題
llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新,若 RAM 快取命中更好的匹配,就會把新上下文載入仍在生成中的 slot,導致生成在錯誤上下文上繼續;現在繁忙 slot 會原樣返回,請求排隊等待(#30295)。
llama.cpp 修復 Responses API 流式事件缺失 output_index
llama.cpp 發布建置 b11768,修復 Responses API 的 SSE 事件中缺失 output_index 的相容性問題:新版本複用 Anthropic 流式程式碼,並移除多餘的 generated_tool_call_ids 與 oai_resp_tool_calls_started。
llama.cpp 發布 b11438,動態後端需顯式載入
llama.cpp 發布 b11438,主要變更是 test-llama-archs 在生成模型前先初始化後端(#30034):開啟 GGML_BACKEND_DL 時,必須先顯式載入後端才能建立模型。
llama.cpp 發布 b11402,CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本,CUDA 後端改為優先採用整塊(whole-tile)FlashAttention 排程,以提升兩階段核心效率。
llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。