AISpot

llama.cpp b11908 將 no_alloc 移出 llama_hparams

llama.cpp releases版本更新開發工具地端推論開源

llama.cpp 發布建置 b11908,主要變更把 no_alloc 欄位從 llama_hparams 結構中移出,並做了相關程式碼清理;同時為 test-llama-context 新增 no_alloc 測試用例。

原標題:b11908
閱讀原文

評分42 / 35(平均 38,門檻 60)
狀態未入選

原文

llama : move no_alloc out of llama_hparams ( #31141 ) llama : move no_alloc out of llama_hparams Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) cont : clean-up cont : clean-up Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) tests : add a no_alloc case to test-llama-context Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/60095452 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分43

llama.cpp 發布 b11425:CUDA alloc_deps 檢查改為與 batch 無關

llama.cpp 發布 b11425 建置,主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關(PR #29986,修復 #29980)。該版本同時更新各平台預編譯產物,覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64,以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。

llama.cpp releasesAI 評分41

llama.cpp b11583:無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

llama.cpp releasesAI 評分36

llama.cpp 測試提速:模型儲存不再建立 llama_context

llama.cpp 建置 b11934 最佳化了測試流程,重構 save_models 使其只建立模型而不再建立儲存時用不到的 llama_context,並用 splitmix64 加 Box-Muller 生成器替換較慢的 std::normal_distribution 抽樣。張量資料改為用 std::mt19937 預先生成一組正態抽樣池,各張量按名稱迴圈取切片,保證結果確定;每次儲存模型後還會輸出檔名、目標路徑與位元組/MB 體積。