llama.cpp b12182:提高小張量緩衝區的 compute view 上限
llama.cpp 發布 b12182 建置,ggml-backend-meta 為張量數量較少的緩衝區提高 compute view 上限,併為其設定每個緩衝區的最少 compute view 數;同時把 deepseek41 測試模型回退到 6 層。
原標題:b12182
閱讀原文
| 評分 | 38 / 35(平均 36,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
meta : raise the compute view limit for buffers with few tensors ( #31447 )
ggml-backend-meta : minimum number of compute views per buffer
Assisted-by: Claude Opus 5.5
tests : revert the deepseek41 test model to 6 layers
Assisted-by: Claude Opus 5.5
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/64758969
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu 26.04 s390x (CPU)
Ubuntu 26.04 s390x (zDNN)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.5 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.5 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.5 DLLs
Windows arm64 (CUDA 13) - CUDA 13.5 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分43
llama.cpp 發布 b11678 建置,其中一項改動把 CUDA pinned host buffer 的最大尺寸限制為 4 GB,對應 PR #30449。
llama.cpp releasesAI 評分43
llama.cpp b11490 把 Hexagon 後端的預設動態緩衝從 128MB 提升到 512MB,原因是 128MB 在大 MoE 模型上會導致效能退化。hex-bufs 新增 alloc_buffer_n 支援,並可將大張量拆分到獨立緩衝區;環境變數 GGML_HEXAGON_MBUF 改為接受 dyn、static、total 三個值。hex-run 還新增 --no-embd-offload 選項,用於簡化需要該設定的裝置上的命令列。
llama.cpp releasesAI 評分43
llama.cpp 發布 b11997 建置,核心改動是複用張量暫存緩衝、跳過 direct-io 的 bounce buffer(#31321)。建置矩陣覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,新增 Ubuntu 26.04 s390x(含 zDNN)目標,CUDA 建置統一到 13.4 庫,Windows x64 的 CUDA 12 仍配 12.4 DLL;
llama.cpp releasesAI 評分42
llama.cpp 發布 b11528,修復 meta backend 處理主機記憶體 tensor 檢視時的斷言失敗。此前使用 --split-mode tensor 並配合部分 offload 時,KV cache 的 view 會被留在 meta split 中,導致 ggml_backend_meta_get_split_state() 解引用 tensor->buffer->context 崩潰;
llama.cpp releasesAI 評分43
llama.cpp 發布 b12172,為 WebGPU 後端加入批次張量介面 get_tensor_n 與 set_tensor_n,可一次讀寫多個張量,同時清理了過時註釋並修復 editor-config 檢查。該版本照例提供 macOS/iOS、Linux、Android、Windows 全平台預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、OpenCL 等後端。