llama.cpp b11592:CUDA 圖除錯日誌改由 GGML_CUDA_GRAPH_DEBUG 控制
llama.cpp 發布每日建置 b11592,ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出,並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取,程序內只查詢一次,不再每次呼叫重複讀取。
原標題:b11592
閱讀原文
| 評分 | 45 / 35(平均 40,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
cuda : add GGML_CUDA_GRAPH_DEBUG and read env vars once ( #30327 )
ggml-cuda: gate CUDA graph debug logs behind GGML_CUDA_GRAPH_DEBUG
ggml-cuda: cache env var lookups in static const instead of re-reading per call
ggml-cuda: read env vars exactly once via ggml_cuda_env_flag/ggml_cuda_env_int
ggml-cuda: consolidate env flag reads into single static accessors
ggml-cuda : drop env helper comments
Assisted-by: pi:llama.cpp/Qwen3.8-27B
cont : remove NDEBUG gates for CUDA graph logs
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/55553776
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分37
llama.cpp 的 RPC 後端把 GGML_RPC_DEBUG 從開關改為詳細度等級:0 或未設定關閉除錯日誌,1-3 依次輸出事件、逐命令 trace 與傳輸細節,非數字值回退為 1。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11563 建置,其中 ggml 把符號預設可見性改為 hidden,避免一批內部符號通過 GGML_API 洩漏(#30014,討論見 #29997)。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp releasesAI 評分42
llama.cpp 發布建置 b11562,修復原始碼拆分後 32 位平台上 Vulkan 緩衝區日誌無法輸出的問題:把 vk::Buffer 的流運算子移到共享標頭檔案,使 ggml-vulkan-debug.cpp 能引用到它。
llama.cpp releasesAI 評分16
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp releasesAI 評分45
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。