llama.cpp b11782 修復 n>1 時 completion_tokens 少計
llama.cpp 發布建置 b11782,服務端修復了 n 大於 1(一次生成多個候選)時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux(含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL)以及 Windows、Android、openEuler 等平台。
原標題:b11782
閱讀原文
| 評分 | 40 / 40(平均 40,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11471 為詞表加入 Plamo FIM tokens
llama.cpp 發布 b11471 建置,主要變更是向詞表加入 Plamo 的 FIM(fill-in-the-middle)tokens,服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp 修復截斷後溫度大於 0 時 n-gram 草稿被拒的問題
llama.cpp 發布 b11387 版本,修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題(PR #29924),由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp b11690:ngram 快取改為按引用讀取,官網為 llama.app
llama.cpp 發布建置 b11690,common 模組中 ngram 快取的分片改為按引用讀取、不再複製,以減少複製。該版本給出的官網地址是 llama.app,預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework,Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…
llama.cpp 修復 Metal 後端每 token 9 專家 MoE 核心缺失
llama.cpp 建置 b11755 修復了 Metal 後端缺少每 token 9 專家 MoE 核心變體的問題(#30610、#30699),涉及 Apple Silicon 上的 MoE 推理路徑。該版本照例發布全平台預編譯包,覆蓋 macOS/iOS、Linux(CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Android、Windows 及 openEuler 昇騰等後端。
llama.cpp 修復 server 因 n_batch 超限導致的 abort
llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。