llama.cpp b11551 加入 MiniCPM-V 4.7 支援
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
找到 5 筆
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
llama.cpp 建置 b11928 加入 MiniCPM-OCR-Jev,這是一個只打分、不生成文字的 OCR 模型。它以 Qwen3.5-VL 為骨幹,在最後一個 token 上讀取 value head,為影像與其渲染文字的匹配度打分,通過 POST /v1/systemone 的 openbmb-minicpm-ocr-jev 決策型別提供服務。checkpoint 沒有 LM head,因此文字生成請求會被拒絕;
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7,其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,約 3G 記憶體就能在 iOS、安卓裝置上流暢執行,iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本,主打 OCR、數學與影片理解。
llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援,本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、iOS、Android、Windows、Linux 及 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。
llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。