AISpot

llama.cpp 為 Hexagon 後端加入 q2_k 與 q3_k 量化支援

llama.cpp releases10/2 14:11版本更新地端推論開源

llama.cpp 構建 b11345 為 Hexagon NPU 後端新增 q2_k 和 q3_k 量化型別支援(#29717),並統一了 src1_row_size 的分配。該版本產物覆蓋 macOS Apple Silicon、Linux、Android、Windows 等平台,其中 macOS Apple Silicon 的 KleidiAI 版本為 DISABLED。

Hexagon 是高通 NPU 後端,這條改動讓 Snapdragon 裝置(Android、Windows arm64)能用上 q2_k/q3_k 低位元量化,而你的 Mac Studio + Apple Silicon 推理路徑不在這次改動範圍內;

原標題:b11345
閱讀原文

評分55 / 65(平均 60,門檻 60)
狀態精選