llama.cpp b11886:轉換 Qwen 模型時合併張量
llama.cpp 發布 b11886 建置,最值得注意的是轉換 Qwen 模型時會合並張量(#31028)。同批提交中,convert 轉換指令碼改用生成器函式,qwen4exp 移除常量與預縮放處理。
原標題:b11886
閱讀原文
| 評分 | 38 / 40(平均 39,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
qwen: merge tensors on convert ( #31028 )
qwen: merge tensors on convert
convert: use generator functions
qwen4exp: remove conts and pre-scale
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/59667111
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分41
llama.cpp 發布建置 b11777,主要改動是 Qwen 模型的輸出改為 reshape 成 2D 而非 3D,同時移除末尾的 reshape 並修正相關注釋(#30823)。
llama.cpp releasesAI 評分46
llama.cpp 新版本 b11883 修復了 llama-quant 的 4D 張量量化錯誤:原先按 ne[1]*ne[2] 統計行數,導致 4D 張量只有前 ne[2] 個切片被量化、其餘行被丟棄,現改用 ggml_nrows() 統計包含 ne[3] 在內的全部行。
llama.cpp releasesAI 評分40
llama.cpp 建置 b11721 在 CUDA 後端把 Qwen4Exp 的 SCALE → SIGMOID → SCALE → hc_post 鏈融合成單個 kernel,由四個 kernel 縮減為一個,程式碼移植自 Vulkan 的 HC_POST_GATE 融合(#29520)。實現上 dsv4_hc_post_f32 新增 gated 模板標誌,直接用原始權重計算 scale_out·sigmoid(scale_in·p);
llama.cpp releasesAI 評分43
llama.cpp 發布 b11515,主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心,並加入融合 GLU(#29375),面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
llama.cpp releasesAI 評分39
llama.cpp 發布 b11878,CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合(PR #31025),把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼,該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。