搜尋：M3 Ultra

llama.cpp releases● 精選10/7 15:59AI 評分62

llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別

llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。

地端推論開源 llama.cpp Metal MMA 量化 M3 Ultra

1 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/5 06:29AI 評分60

llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心

llama.cpp 合併 PR #29869，為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心，用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算，耗時隨 src1 行數增長，導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。

地端推論開源 llama.cpp Metal MMA 投機解碼 Apple Silicon

1 個來源 · 2 則報導閱讀原文