b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)

llama.cpp releases10/14 06:10版本更新地端推論開源

llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合，覆蓋 RDNA3.5（gfx115x）；此前該配置只在 J≤32 時使用，更大的 tile 會佔滿 LDS，無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試，中位提升 2.1%、最佳 26.0%，5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除，其餘條目保持不變。

原標題：b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)
閱讀原文

評分	42 / 45（平均 43，門檻 60）
狀態	未入選

原文

The RDNA3.5 config table selects a 64-row / 128-thread tile up to J=32 and a 128-row / 256-thread tile above that. On gfx115x the smaller tile leaves enough LDS free for a second workgroup per CU, while the larger one does not. Extend the 64-row tile to the (type, J) pairs where it measured faster on gfx1151, and leave every other entry untouched. J=96 is deliberately excluded because it did not benefit. test-backend-ops perf on gfx1151, 100 MUL_MAT shapes over the affected types (N in 48..512, M both padded and unpadded), 3 rounds: median +2.1%, best +26.0%, no shape outside run-to-run noise. 5 MUL_MAT_ID shapes: median +8.0%. Assisted-by: Claude Opus 5

相關報導

llama.cpp releases10/9 02:57AI 評分43

llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 llama.cpp SYCL 本地推理版本發布

閱讀原文

llama.cpp releases10/7 06:02AI 評分37

llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ

llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。

開發工具地端推論 llama.cpp SYCL IQ3_S MMVQ 版本發布

閱讀原文

llama.cpp releases10/8 03:56AI 評分41

llama.cpp 為 Hexagon NPU 支援 Q4_K/Q6_K tiled GET_ROWS

llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。

地端推論開源 llama.cpp Hexagon Q4_K Q6_K 本地推理

閱讀原文

llama.cpp releases● 精選10/7 14:59AI 評分62

llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別

llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。

地端推論開源 llama.cpp Metal MMA 量化 M3 Ultra

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/9 08:11AI 評分43