llama.cpp 修復 WebGPU 大緩衝區清零
llama.cpp 發布 b12114,WebGPU 後端修復了大緩衝區處理:get_max_size 現在返回 maxBufferSize,memset/clear 不再整塊繫結緩衝區,buffer_memset 可處理超過最大繫結尺寸的緩衝區。該版本同時提供 macOS/iOS、Linux(CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Android 與 Windows 的預編譯包。
原標題:b12114
閱讀原文
| 評分 | 45 / 45(平均 45,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11896 修復 WebGPU memset 競態
llama.cpp 發布 b11896 建置,核心改動是修復 WebGPU memset 中的競態問題(#31162)。同批預編譯產物仍覆蓋 macOS/iOS(含 Apple Silicon 與 Intel)、Linux(Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android 與 Windows(含 Snapdragon 的 Adreno GPU 與 Hexagon NPU 路徑),CUDA 12 使用 12.8、CUDA 13…
llama.cpp 修復 WebGPU 批長度分配崩潰併發布 b12034
llama.cpp 發布 b12034 建置,修復 WebGPU 後端 scratch 分配大小不隨批長度單調增長的問題:以往用 n_ubatch 或單 token 預留的圖,覆蓋不了 2 到 19 行 query 的批,GGML_SCHED_NO_REALLOC 建置會因意外重分配而中止。修法是把行數傳入 flash attention vec 與 MMVQ 兩條路徑的判定,並按短路徑支援的最長批長度限制 scratch 大小。
llama.cpp b11523 修復 WebGPU 混合批處理崩潰
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元,修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU,導致繫結 CPU 緩衝後崩潰;現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
llama.cpp b11456:CUDA 緩衝區初始化改用每執行緒流
llama.cpp 發布建置 b11456,其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream(#28782),CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端;
llama.cpp 新版將 CUDA pinned host buffer 上限設為 4 GB
llama.cpp 發布 b11678 建置,其中一項改動把 CUDA pinned host buffer 的最大尺寸限制為 4 GB,對應 PR #30449。