llama.cpp 新增 nimble 決策模型支援
llama.cpp 合併 PR #29844,新增對 nimble 決策模型的支援。該版本覆蓋 macOS Apple Silicon(arm64)、Ubuntu、Windows、Android 等多平台建置,其中 macOS Apple Silicon 的 KleidiAI 加速版本被標記為 DISABLED。官方發布頁為 llama.app,建置證明見 GitHub attestations。
你正用 llama.cpp 在 Apple Silicon 上跑本地模型,這次更新直接關係到你的 Mac Studio 推理環境與 KleidiAI 加速是否可用。
原標題:b11364
閱讀原文
| 評分 | 45 / 72(平均 58,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新增 clef 決策模型支援(純文字)
llama.cpp 合併 PR #29831,為 clef 決策模型加入純文字推理支援,並更新 gguf-py 常量。該版本覆蓋 macOS Apple Silicon、Linux、Windows、Android 等平台,其中 Apple Silicon 的 KleidiAI 加速建置被停用。
llama.cpp 上線 Decision 模型與 /v1/systemone 端點
llama.cpp 最新建置已支援 Decision 模型,新增 /v1/systemone 端點,可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型,後續還會增加。
llama.cpp b11352 最佳化 qwen4exp 掩碼建置
llama.cpp 發布 b11352 版本,主要改動是最佳化 qwen4exp 的掩碼(mask)建置(#29824),並將同一改動應用到 GLM5-next。該版本繼續提供 macOS Apple Silicon(arm64)、iOS、Linux、Windows、Android 等平台建置,涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與 Snapdragon 後端。
llama.cpp 更新 cpp-httplib 至 0.59.0
llama.cpp 發布 b11380 版本,將依賴庫 cpp-httplib 升級到 0.59.0。該版本繼續為 macOS Apple Silicon(arm64)、Linux、Windows、Android 等平台提供預編譯建置,其中 macOS Apple Silicon 的 KleidiAI 加速版本被標記為 DISABLED。
llama.cpp 新增 common_is_tty() 並修復 Windows 棄用警告
llama.cpp 合併 PR #29860,新增 common_is_tty() 輔助函式並修復 Windows 上的棄用警告,作者為 Hugging Face 的 Adrien Gallouët。該提交同時更新了各平台預編譯產物,macOS Apple Silicon(arm64)正常提供,但啟用 KleidiAI 的 arm64 版本被標記為 DISABLED,openEuler 也處於 DISABLED 狀態。