llama.cpp b11826 新增 MiniCPM-OCR 1.0 支援
llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援,本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、iOS、Android、Windows、Linux 及 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。
本地推理使用者可直接通過 mtmd 跑 MiniCPM-OCR 1.0,OCR 不必再另搭框架;同批還提供驍龍 Adreno GPU 與 Hexagon NPU 等平台的預編譯包。
原標題:b11826
閱讀原文
| 評分 | 52 / 55(平均 53,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11551 加入 MiniCPM-V 4.7 支援
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
llama.cpp 發布 b11662 建置,含 ROCm 10.0 與 CUDA 13 版本
llama.cpp 發布 b11662 版本(同步 ggml),預編譯建置提供 ROCm 10.0、CUDA 13(13.4 庫)以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp b11540 發布:SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布,核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理(PR #29809)。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
llama.cpp 發布 b11867,重構伺服器入口
llama.cpp 發布建置版本 b11867,核心變更是重構 server 入口(#31113)。該版本繼續提供 macOS Apple Silicon、Ubuntu CUDA 12/13、ROCm 10.0、Vulkan、SYCL、Windows arm64 CUDA 等預編譯包,其中 macOS Apple Silicon 的 KleidiAI 版本與 openEuler 建置處於 DISABLED 狀態。