搜尋

依意思最接近的 7 筆

llama.cpp releases● 精選10/5 06:29AI 評分60

llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心

llama.cpp 合併 PR #29869，為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心，用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算，耗時隨 src1 行數增長，導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。

地端推論開源 llama.cpp Metal MMA 投機解碼 Apple Silicon

閱讀原文

llama.cpp releases10/5 06:24AI 評分42

llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法

llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。

地端推論開源 llama.cpp CUDA MMVF mul_mat kernel

閱讀原文

Hacker News front page10/4 08:53AI 評分41

Wolfram 撰文討論 AI 時代純數學研究的未來

Wolfram 於 2026 年 9 月 28 日發文，回應 AI 不斷解出數學題後“是否還需要人類做數學研究”的討論。他認為現代 AI 的最大價值在於挖掘人類數學知識庫並建立連線，但純數學的核心是引導提問的人類想像力；計算則能通過計算不可約性不斷生成全新結果。他以 1988 年 Mathematica 問世時類似的擔憂作類比，指出工具只是提升了可做的數學層次。

研究模型純數學 AI 數學研究自動定理證明形式化計算不可約性

閱讀原文

llama.cpp releases10/4 11:42AI 評分50

llama.cpp 新增啟用統計與 GGUF imatrix 支援

llama.cpp 合併 PR #14891，為 GGUF 格式 imatrix 引入基於啟用值的統計計算，新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數（ECS），並支援外部 NextN 草稿檔案（-md / --model-draft）。預設不啟用啟用統計以避免 imatrix 體積翻倍，統計報告佈局與排序也按 imatrix 型別更新。

地端推論開源 llama.cpp GGUF imatrix 量化 activation statistics

閱讀原文

llama.cpp releases10/3 00:18AI 評分31