AISpot

搜尋

找到 5 筆

llama.cpp releasesAI 評分58

llama.cpp 新增 MiniCPM-OCR-Jev 支援

llama.cpp 建置 b11928 加入 MiniCPM-OCR-Jev,這是一個只打分、不生成文字的 OCR 模型。它以 Qwen3.5-VL 為骨幹,在最後一個 token 上讀取 value head,為影像與其渲染文字的匹配度打分,通過 POST /v1/systemone 的 openbmb-minicpm-ocr-jev 決策型別提供服務。checkpoint 沒有 LM head,因此文字生成請求會被拒絕;

llama.cpp releasesAI 評分53

llama.cpp b11826 新增 MiniCPM-OCR 1.0 支援

llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援,本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、iOS、Android、Windows、Linux 及 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。

llama.cpp releases● 精選AI 評分85

llama.cpp v0.7.0 發布:MoE 專家快取最高帶來 2.2 倍解碼提速

llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。