llama.cpp 為 OpenCL 後端新增 MoE 核心並修復 Adreno 錯誤
先了解這件事AI 綜述
llama.cpp 在 10 月 10 日的建置 b11541 中為 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心：kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin，前者處理 Q4_K 量化權重搭配 Q8_1 啟用的乘法，後者處理 Q6_K 搭配 Q8_1，均以預編譯二進位制核心形式加入，並用 dp4a 整數點積指令加速。按該版本說明，這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。10 月 14 日的建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法（MUL_MAT_ID）與 GEMM 的最小值處理錯誤，避免量化 MoE 模型在 GPU 上算出錯誤結果；同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID，不再走不支援的精度路徑。這批提交中有多項由高通（[email protected]）的 Hongqiang Wang 共同完成。兩個建置相隔四天，llama.cpp 每次發布都會附帶覆蓋 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL 等後端的多平台建置證明列表，其中與 Adreno 相關的條目包括 Linux arm64 與 Android arm64 的驍龍（CPU、Adreno GPU、Hexagon NPU）建置，以及 Windows arm64 的 OpenCL Adreno 建置。
AI 根據 2 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
沒有符合條件的報導。
本事件熱度走勢
為什麼熱
過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。