llama.cpp 新增延遲工具與 tool_reference 支援
llama.cpp 建置版本 b11940 合併 PR #31256,在 common 層新增對延遲工具(deferred tools)與 tool_reference 內容塊的支援,並修復了相應測試的型別檢查。
原標題:b11940
閱讀原文
| 評分 | 40 / 46(平均 43,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11392 建置,CI 預設權限調整
llama.cpp 發布 b11392 版本,主要變更是 CI 設定預設權限(#29945)。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端;
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp 建置 b11641:spec 新增 lilicorr 支援
llama.cpp 發布建置 b11641,其中 spec(推測解碼)新增 lilicorr 支援(PR #30506),是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式,併為 llama-batch.cpp 中的 hparam 使用留下 TODO,另有一處 typo 修復,提交由 Georgi Gerganov 共同署名。
llama.cpp 修復 chat-peg-parser 釋放後使用漏洞
llama.cpp 合併 PR #29942,修復 chat-peg-parser 中 pending_tool_call 重置時未清空 current_tool 指標導致的 use-after-free 與 id 緩衝區二次釋放。該問題在 TOOL_CLOSE 之後收到 TOOL_ID 節點時觸發,修復方式是在重置時清除指標。
llama.cpp 發布 b11954,調整測試常量減少無關警告
llama.cpp 發布建置 b11954,本次唯一的程式碼改動是調整測試常量以減少無關警告(#31254)。預編譯包仍覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL,以及驍龍 CPU、Adreno GPU、Hexagon NPU 等後端;