搜尋

llama.cpp 發布 b11352，主要改動是最佳化 Qwen4 的 mask 構建（#29824），並把同一改動應用到 GLM5-next。構建產物覆蓋 macOS Apple Silicon、Linux、Windows、Android 等平台。其中 macOS Apple Silicon 的 KleidiAI enabled 版本標記為 DISABLED。

地端推論開源llama.cpp 本地推理開源 Qwen GLM

閱讀原文

llama.cpp releases● 精選10/2 14:11AI 評分60

llama.cpp 為 Hexagon 後端加入 q2_k 與 q3_k 量化支援

llama.cpp 構建 b11345 為 Hexagon NPU 後端新增 q2_k 和 q3_k 量化型別支援（#29717），並統一了 src1_row_size 的分配。該版本產物覆蓋 macOS Apple Silicon、Linux、Android、Windows 等平台，其中 macOS Apple Silicon 的 KleidiAI 版本為 DISABLED。

地端推論開源llama.cpp Hexagon 量化 q2_k q3_k

閱讀原文

llama.cpp releases10/2 16:43AI 評分40

llama.cpp 發布 b11349：Vulkan 管線編譯問題新增日誌

llama.cpp 發布 b11349，為 Vulkan 管線編譯問題新增日誌，並覆蓋 macOS、Linux、Windows、Android 等多平台構建。

地端推論開源llama.cpp Vulkan 版本發布構建產物本地推理

閱讀原文

Ollama releases● 精選9/24 05:45AI 評分70

v0.34.4 更新：修復本地模型庫報錯，Apple Silicon 推理更快

v0.34.4 已發布。思考模型的結構化輸出改為單次通過，更快更可靠，並修復本地大模型庫間歇性報 model not found 及 macOS 應用檢查 ChatGPT、Codex 時卡死的問題。Qwen 3.8 在 Apple Silicon 上提示處理更快，Gemma 4 會按圖選最佳解析度以保留更多細節。

地端推論產品與方案LM Studio MLX llama.cpp 結構化輸出 Apple Silicon

閱讀原文