llama.cpp b11583:無快取路徑避免記憶體重複分配
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
原標題:b11583
閱讀原文
| 評分 | 42 / 40(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11606,簡化後端搜尋路徑錯誤處理
llama.cpp 發布版本 b11606,主要改動是簡化 ggml 後端搜尋路徑的錯誤處理,由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置,涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端;
llama.cpp 發布 b11462,含 SYCL fattn 緩衝區清理
llama.cpp 發布 b11462 建置,本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理(#27689)。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL,以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。
llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題
llama.cpp 發布 b11538 建置,修復 CUDA 後端的舍入問題,使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫,Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置,Snapdragon 平台提供 CPU、Adr…
llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。