llama.cpp b11908 將 no_alloc 移出 llama_hparams
llama.cpp 發布建置 b11908,主要變更把 no_alloc 欄位從 llama_hparams 結構中移出,並做了相關程式碼清理;同時為 test-llama-context 新增 no_alloc 測試用例。
原標題:b11908
閱讀原文
| 評分 | 42 / 35(平均 38,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
llama : move no_alloc out of llama_hparams ( #31141 )
llama : move no_alloc out of llama_hparams
Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2))
cont : clean-up
cont : clean-up
Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2))
tests : add a no_alloc case to test-llama-context
Assisted-by: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2))
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/60095452
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分40
llama.cpp 發布建置 b11881,核心改動是讓所有記憶體快取統一遵循 no_alloc 設定。提交中另標註兩項待辦:把 no_alloc 從 llama_hparams 中移出;驗證在 Mac Studio(M2 Ultra、192GB)上用 DeepSeek-V4-Flash-Vision-Exp 的 GGUF 模型完成。
llama.cpp releasesAI 評分43
llama.cpp 發布 b11425 建置,主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關(PR #29986,修復 #29980)。該版本同時更新各平台預編譯產物,覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64,以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。
llama.cpp releasesAI 評分41
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp releasesAI 評分36
llama.cpp 建置 b11934 最佳化了測試流程,重構 save_models 使其只建立模型而不再建立儲存時用不到的 llama_context,並用 splitmix64 加 Box-Muller 生成器替換較慢的 std::normal_distribution 抽樣。張量資料改為用 std::mt19937 預先生成一組正態抽樣池,各張量按名稱迴圈取切片,保證結果確定;每次儲存模型後還會輸出檔名、目標路徑與位元組/MB 體積。
llama.cpp releasesAI 評分40
llama.cpp 發布建置 b11641,其中 spec(推測解碼)新增 lilicorr 支援(PR #30506),是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式,併為 llama-batch.cpp 中的 hparam 使用留下 TODO,另有一處 typo 修復,提交由 Georgi Gerganov 共同署名。