llama.cpp 發布 b11711:修復 CUDA fattn 編譯警告
llama.cpp 發布建置 b11711,唯一程式碼改動是修復 CUDA flash attention 向量分發中觸發的 -Wtautological-compare 編譯警告(#30519),提交者為 Adrien Gallouët。
原標題:b11711
閱讀原文
| 評分 | 18 / 35(平均 26,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11719,調整 CUDA fattn 越界檢查
llama.cpp 發布建置 b11719,本次唯一一項程式碼改動來自 PR #30572:ggml-cuda 的 fattn(flash attention)在 k_VKQ_max 等於 k_VKQ_max - nbatch_fa 時不再做越界檢查,只涉及 CUDA 後端的 flash attention 計算路徑。
llama.cpp b11724 修復 CUDA flash_attn_ext_vec 競態
llama.cpp 發布 b11724 建置,主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀(WAR)冒險與 KQ 寫後讀競態,避免注意力計算出錯。補丁由社群貢獻者提交,並附 ChatGPT 協助說明,同時整理了 KQ 同步相關注釋。
llama.cpp 發布 b11402,CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本,CUDA 後端改為優先採用整塊(whole-tile)FlashAttention 排程,以提升兩階段核心效率。
llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。