搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/16 10:23AI 評分41

llama.cpp b11690：ngram 快取改為按引用讀取，官網為 llama.app

llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…

地端推論開源 llama.cpp 本地推理版本更新 ngram cache 跨平台建置

閱讀原文

llama.cpp releases10/20 11:31AI 評分46

b11758: spec : save the dynamic ngram cache file (#22055)

llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤：此前 common_ngram_cache_update 只收到新 token、缺少前面的 token，以新 token 結尾的 ngram 無法形成，上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量，並在每次新請求時把 cache_size 歸零。

地端推論開源 llama.cpp ngram 快取投機解碼本地推理

閱讀原文