搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/21 04:59AI 評分40

llama.cpp b11782 修復 n>1 時 completion_tokens 少計

llama.cpp 發布建置 b11782，服務端修復了 n 大於 1（一次生成多個候選）時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux（含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）以及 Windows、Android、openEuler 等平台。

地端推論開源 llama.cpp b11782 token 統計 n>1 本地推理

閱讀原文

llama.cpp releases10/15 00:36AI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行，結果在記憶體中是 [OL, N, OC]，reshape 卻宣告為 [OL, OC, N]，形狀正確但內容被轉置，因此不報錯、通道與批次交錯；N==1 時兩種讀法等價，倉庫裡三個 vocoder 都沒觸發。

地端推論開源 llama.cpp ggml conv_1d 批處理版本發布

閱讀原文