llama.cpp b11534:CUDA 後端移除 SSM_SCAN 後的冗餘複製
llama.cpp 發布 b11534 建置,CUDA 後端做了多項複製最佳化:SSM_SCAN 之後不再重複複製,更新後的狀態快照複製被融合進 recurrent cache 的 ssm_scan,K==1(非投機解碼)場景的冗餘 CUDA 複製也一併移除。
原標題:b11534
閱讀原文
| 評分 | 45 / 45(平均 45,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核
llama.cpp 發布 b11770 建置,CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援(#30873),補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp 發布 b11399,重構 CUDA swizzling 程式碼
llama.cpp 發布 b11399 版本,主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED,openEuler 建置同樣被停用。
llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題
llama.cpp 發布 b11538 建置,修復 CUDA 後端的舍入問題,使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫,Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置,Snapdragon 平台提供 CPU、Adr…
llama.cpp 發布 b11425:CUDA alloc_deps 檢查改為與 batch 無關
llama.cpp 發布 b11425 建置,主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關(PR #29986,修復 #29980)。該版本同時更新各平台預編譯產物,覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64,以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。