AISpot

llama.cpp b12182:提高小張量緩衝區的 compute view 上限

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b12182 建置,ggml-backend-meta 為張量數量較少的緩衝區提高 compute view 上限,併為其設定每個緩衝區的最少 compute view 數;同時把 deepseek41 測試模型回退到 6 層。

原標題:b12182
閱讀原文

評分38 / 35(平均 36,門檻 60)
狀態未入選

原文

meta : raise the compute view limit for buffers with few tensors ( #31447 ) ggml-backend-meta : minimum number of compute views per buffer Assisted-by: Claude Opus 5.5 tests : revert the deepseek41 test model to 6 layers Assisted-by: Claude Opus 5.5 Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/64758969 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.5 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.5 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.5 DLLs Windows arm64 (CUDA 13) - CUDA 13.5 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分43

llama.cpp 更新 Hexagon 後端,預設動態緩衝升至 512MB

llama.cpp b11490 把 Hexagon 後端的預設動態緩衝從 128MB 提升到 512MB,原因是 128MB 在大 MoE 模型上會導致效能退化。hex-bufs 新增 alloc_buffer_n 支援,並可將大張量拆分到獨立緩衝區;環境變數 GGML_HEXAGON_MBUF 改為接受 dyn、static、total 三個值。hex-run 還新增 --no-embd-offload 選項,用於簡化需要該設定的裝置上的命令列。

llama.cpp releasesAI 評分43

llama.cpp b11997 複用張量暫存緩衝,跳過 direct-io bounce buffer

llama.cpp 發布 b11997 建置,核心改動是複用張量暫存緩衝、跳過 direct-io 的 bounce buffer(#31321)。建置矩陣覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,新增 Ubuntu 26.04 s390x(含 zDNN)目標,CUDA 建置統一到 13.4 庫,Windows x64 的 CUDA 12 仍配 12.4 DLL;

llama.cpp releasesAI 評分43

llama.cpp 的 WebGPU 後端新增批次張量 API

llama.cpp 發布 b12172,為 WebGPU 後端加入批次張量介面 get_tensor_n 與 set_tensor_n,可一次讀寫多個張量,同時清理了過時註釋並修復 editor-config 檢查。該版本照例提供 macOS/iOS、Linux、Android、Windows 全平台預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、OpenCL 等後端。