AISpot

llama.cpp b11812 為全部 Granite 模型記錄層輸入

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b11812 建置,其中提交 #30957 為全部 Granite 模型記錄層輸入;該提交由 IBM 的 Gabe Goodhart 提交,位於 GraniteSpeculatorSupport 分支,並標註為全程 AI 輔助(Claude + Sonnet 5.5)。

原標題:b11812
閱讀原文

評分40 / 42(平均 41,門檻 60)
狀態未入選

原文

models : Record layer inputs for all granite models ( #30957 ) Branch: GraniteSpeculatorSupport AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/58553701 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分44

llama.cpp 新增 IBM Granite Switch 決策模型支援

llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終確定為只要 Granite Switch 支援決策就始終支援文字,server README 也同步更新。

llama.cpp releasesAI 評分55

llama.cpp 新增 Flint 模型支援,多平台建置同步更新

llama.cpp 建置 b11803 合併了對新模型 Flint(FlintForCausalLM)的支援,該提交由 Codex 協助完成,合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。