llama.cpp releasesAI 評分50
llama.cpp b11713:CUDA 低位元量化 MMVQ 提速
llama.cpp 發布 b11713,CUDA 後端針對低位元型別的 MMVQ 矩陣乘向量計算提速,同時修復 HIP 在 small nwarps GCN 上 Q3_K(ncols=2、3)與 Q6_K(ncols=4)的問題。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 發布 b11713,CUDA 後端針對低位元型別的 MMVQ 矩陣乘向量計算提速,同時修復 HIP 在 small nwarps GCN 上 Q3_K(ncols=2、3)與 Q6_K(ncols=4)的問題。
llama.cpp 建置 b11716 為高通 Hexagon NPU 新增 Q1_0、Q2_0 兩種低位元量化的支援,其中 Q1_0 權重已可在 2D HMX MUL_MAT 路徑中啟用。同一批提交還改寫了分塊(tiling)實現、去掉迴圈內除法、最佳化 Q1_0 佈局以降低解包與 vrmpy 開銷,並修正 MUL_MAT_NX 對正方形分塊的假設,因為 Q1/Q2 使用非正方形分塊。