llama.cpp b11592:CUDA 圖除錯日誌改由 GGML_CUDA_GRAPH_DEBUG 控制
llama.cpp 發布每日建置 b11592,ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出,並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取,程序內只查詢一次,不再每次呼叫重複讀取。
找到 8 筆
llama.cpp 發布每日建置 b11592,ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出,並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取,程序內只查詢一次,不再每次呼叫重複讀取。
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp 發布 b11494,ggml-cuda 將 GDN 狀態列數(cols_per_warp)的預設值定為 4,此前該值經歷每 warp 2 列與 4 列的調整,並在 S_v=128 時使用 4 列。
llama.cpp 發布 b11715 建置,其中 ggml-cuda 的 HIP 後端在 q1_0 解包時改用 __builtin_amdgcn_perm 內建函式(commit #29927),面向 AMD ROCm 環境。
llama.cpp 發布建置 b11719,本次唯一一項程式碼改動來自 PR #30572:ggml-cuda 的 fattn(flash attention)在 k_VKQ_max 等於 k_VKQ_max - nbatch_fa 時不再做越界檢查,只涉及 CUDA 後端的 flash attention 計算路徑。
llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援,此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化,這次只是在 launcher 里加上 nv_bfloat16 分支,並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。
llama.cpp 發布建置 b11456,其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream(#28782),CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端;
llama.cpp 發布 b11770 建置,CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援(#30873),補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。