llama.cpp 在全部 Apple 平台改用 vm_allocate 分配記憶體
llama.cpp 的 ggml 後端在全部 Apple 平台(macOS Apple Silicon、Intel 與 iOS)把記憶體分配從 posix_memalign 改為 vm_allocate,並讓 test-host-buffer-release 測試預設執行。該改動同時覆蓋 iOS,屬於底層記憶體分配路徑調整,不涉及模型或 API 變化。
原標題:b12053
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
ggml : use vm_allocate instead of posix_memalign on all Apple platforms ( #31437 )
ggml : use vm_allocate instead of posix_memalign on iOS
ggml : use vm_allocate on all Apple platforms, run test-host-buffer-release by default
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/62768489
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu 26.04 s390x (CPU)
Ubuntu 26.04 s390x (zDNN)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分41
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp releasesAI 評分40
llama.cpp 發布建置 b11881,核心改動是讓所有記憶體快取統一遵循 no_alloc 設定。提交中另標註兩項待辦:把 no_alloc 從 llama_hparams 中移出;驗證在 Mac Studio(M2 Ultra、192GB)上用 DeepSeek-V4-Flash-Vision-Exp 的 GGUF 模型完成。
llama.cpp releasesAI 評分20
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp releasesAI 評分43
llama.cpp 發布 b11683 版本,Vulkan 後端修復了 GPU 可見主機記憶體的相關問題,並減少主機指標匯入失敗時的日誌刷屏。該版本把 MoltenVK 排除在共享記憶體匯入之外,同時因 amdgpu 效能問題,在 AMD 上停用了主機記憶體緩衝區共享。
llama.cpp releasesAI 評分43
llama.cpp 版本號升至 0.8.0,並同步更新了全平台預編譯包。macOS 提供 Apple Silicon(arm64)與 Intel(x64)建置及 iOS XCFramework;Windows 與 Ubuntu 覆蓋 x64/arm64 的 CPU、CUDA 12.8 與 13.4、Vulkan、SYCL、ROCm 10.0、OpenVINO 等後端。