llama.cpp 修復 Responses API 流式事件缺失 output_index
llama.cpp 發布建置 b11768,修復 Responses API 的 SSE 事件中缺失 output_index 的相容性問題:新版本複用 Anthropic 流式程式碼,並移除多餘的 generated_tool_call_ids 與 oai_resp_tool_calls_started。
原標題:b11768
閱讀原文
| 評分 | 41 / 42(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 的 Anthropic 相容端點開始透傳 id_slot
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題:服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單,遺漏了 id_slot,導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽,在混合/迴圈模型上還要重新做完整的 prefill。
llama.cpp b11607 發布:chat 輸出改為 parts 結構
llama.cpp 發布 b11607 建置,主要變更是把 chat 的輸出由單個字串改為 parts 結構(PR #30389)。同版本更新了各平台預編譯產物,覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 支援。
llama.cpp 發布 b11606,簡化後端搜尋路徑錯誤處理
llama.cpp 發布版本 b11606,主要改動是簡化 ggml 後端搜尋路徑的錯誤處理,由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置,涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端;
llama.cpp b11539 應用上游深層巢狀 JSON 補丁
llama.cpp 發布 b11539 建置,唯一程式碼改動是應用來自上游的深層巢狀 JSON 補丁(#30253)。各平台預編譯包照常提供,覆蓋 macOS/iOS、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android、Windows 以及 openEuler。其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置本次被標記為 DISABLED。
llama.cpp 修復 Ling 3.0 解析器忽略 json_schema 的問題
llama.cpp 合併 PR #29813,讓 Ling 3.0 解析器開始遵循 inputs.json_schema。此前 Ling 3.0 只為工具呼叫建置語法,response_format 請求不受約束;新實現加入優先於工具的回應格式語法路徑,並在啟用思考時要求先輸出 think 塊、JSON 回應後不允許追加散文。該修復對應 issue #29652,隨新版建置覆蓋 macOS、Linux、Windows、Android 等平台。