llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心
llama.cpp 合併 PR #29869,為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心,用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算,耗時隨 src1 行數增長,導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。
依意思最接近的 10 筆
llama.cpp 合併 PR #29869,為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心,用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算,耗時隨 src1 行數增長,導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。
llama.cpp 合併 PR #28531,在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊(large matmul tile),以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成,並附有建置證明連結。
llama.cpp 合併 PR #29633,在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令,並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交,影響 Ubuntu 與 Windows 的 CUDA 12/13 建置,面向在 NVIDIA GPU 上執行本地推理的使用者。
llama.cpp 合併 PR #29570,在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置,並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布,覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
Wolfram 於 2026 年 9 月 28 日發文,回應 AI 不斷解出數學題後“是否還需要人類做數學研究”的討論。他認為現代 AI 的最大價值在於挖掘人類數學知識庫並建立連線,但純數學的核心是引導提問的人類想像力;計算則能通過計算不可約性不斷生成全新結果。他以 1988 年 Mathematica 問世時類似的擔憂作類比,指出工具只是提升了可做的數學層次。
Meta AI 團隊與 Muse Spark 合作,在受生物學啟發的數學結構研究中,找到了一個被提出規則的反例,並進一步給出替代性刻畫,經研究人員驗證與完善。相關論文已發布。
llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。
Meta AI 在社交平台介紹了一項最佳化領域的新研究:研究者與 Muse Spark 合作,證明了一條明確規則,用於判斷某個簡化在什麼條件下能精確還原原始數學問題、在什麼條件下會留下差距。該結果針對的是用更簡單問題替換困難數學問題的場景,論文連結已隨帖文給出。
llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。
Meta AI 研究人員與 Muse Spark 合作,將數論中的一個想法與弦理論中的一項計算聯絡起來,證明該聯絡在比此前已知更多的情況下成立。這項工作建立在 1980 年代的想法之上,論文已在 Meta AI 研究頁面發布。