llama.cpp b11603 最佳化 Vulkan 大視窗 pool_2d
llama.cpp 發布 b11603,重點最佳化 Vulkan 後端的 pool_2d:當池化視窗大於一個 subgroup 時,改用一個完整 subgroup 計算每個輸出,以提升大視窗下的池化效能。
原標題:b11603
閱讀原文
| 評分 | 48 / 45(平均 46,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優
llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。
llama.cpp b11564:Vulkan 後端專門化 CM2 量化塊大小
llama.cpp 發布 b11564 建置,Vulkan 後端為 CM2 matmul 專門化量化塊大小,並改用三元表示式避免 switch 降低帶來的開銷,同時澄清了相關注釋。該版本照例附帶全平台建置,涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp b11433 為 Hexagon NPU 加入池化運算元支援
llama.cpp 新建置 b11433 在高通 Hexagon NPU 後端加入 pool 運算元支援,包含 pool_1d 與 pool_2d。同一批提交重寫了 DMA 流水線、加入池化分塊(pool chunking)、移除並向量化全部標量路徑,並最佳化 HTP 池化邊界、簡化分塊求解器與清理冗餘檢查。
llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘
llama.cpp 發布 b11554,Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理:不再逐個迴圈,而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟,會生成緊湊的 tile 描述列表、按需發射多個 tile,從而收緊 workgroup 數量上界,尾部執行緒可直接提前退出。
llama.cpp b11526 修復 Vulkan rms_norm 溢位問題
llama.cpp 發布建置 b11526,主要修復 Vulkan 後端 rms_norm 工作組數量溢位(#30145)。該版本繼續為 macOS/iOS、Linux、Windows、Android 與 openEuler 提供多後端建置,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 以及驍龍平台的 Adreno GPU 與 Hexagon NPU;