b11758: spec : save the dynamic ngram cache file (#22055)

llama.cpp releases10/20 11:31版本更新地端推論開源開發工具

llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤：此前 common_ngram_cache_update 只收到新 token、缺少前面的 token，以新 token 結尾的 ngram 無法形成，上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量，並在每次新請求時把 cache_size 歸零。

llama.cpp ngram 快取投機解碼本地推理

原標題：b11758: spec : save the dynamic ngram cache file (#22055)
閱讀原文

評分	45 / 48（平均 46，門檻 60）
狀態	未入選

原文

spec : save the dynamic ngram cache file save the cache at the common_speculative_impl_ngram_cache destruction remove save_static/save_dynamic flags as well as the relevant TODO if the dynamic cache file does not exist, start with an empty cache that is written on exit. if it exists but cannot be read, abort instead of overwriting it. spec : fix draft_one not updating the ngram cache history correctly common_ngram_cache_update received only the new tokens with none of the tokens before them causing ngrams ending at the new token to not being formed, leading the context cache to only ever hold the prompt fix: pass the full history to common_ngram_cache_update with nnew set to the number of new tokens the way llama-lookup does and also reset cache_size to 0 on each new request Co-authored-by: Petros Sideris [email protected]

相關報導

llama.cpp releases10/16 10:23AI 評分41

llama.cpp b11690：ngram 快取改為按引用讀取，官網為 llama.app

llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…

地端推論開源 llama.cpp 本地推理版本更新 ngram cache 跨平台建置

閱讀原文

llama.cpp releases10/13 09:37AI 評分41

llama.cpp b11583：無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

地端推論開源 llama.cpp 本地推理版本發布 graph no cache path

閱讀原文

llama.cpp releases10/4 10:22AI 評分42

llama.cpp 修復截斷後溫度大於 0 時 n-gram 草稿被拒的問題

llama.cpp 發布 b11387 版本，修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題（PR #29924），由 NVIDIA 的 Pranesh Gonegandla 參與提交。

地端推論開源 llama.cpp n-gram speculative decoding 版本更新

閱讀原文

llama.cpp releases10/15 06:55AI 評分40

llama.cpp 建置 b11641：spec 新增 lilicorr 支援

llama.cpp 發布建置 b11641，其中 spec（推測解碼）新增 lilicorr 支援（PR #30506），是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式，併為 llama-batch.cpp 中的 hparam 使用留下 TODO，另有一處 typo 修復，提交由 Georgi Gerganov 共同署名。

地端推論開源 llama.cpp 本地推理建置發布 lilicorr spec

閱讀原文

llama.cpp releases10/15 04:30AI 評分46