百度開源文心 Unlimited OCR 2,峰值 KV 快取降約 96%
百度發布並開源文心 Unlimited OCR 2,百頁級單序列峰值 KV 快取從 47GB 降到 1.77GB,減少約 96%。它靠稀疏參考滑動視窗注意力 SR-SWA 與分塊無限解碼,可連續解析 3600 頁以上文件,16 路併發吞吐從 360 提升到 1315 Token/秒。MarathonDocBench 得 77.06、MPDocBench 得 84.59,單步解碼速度分別為全注意力和上代 R-SWA 的 7.0 倍與 5.6 倍。
開源 OCR 把長文件 KV 快取壓到接近常數,實測整本 884 頁約 2.9 秒每頁、併發吞吐提升 3.65 倍,批次處理掃描件與年報的開發者可直接上手。
原標題:KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
閱讀原文
| 評分 | 78 / 80(平均 79,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
1.3B 的 OXR 開源登頂三項文件解析榜,速度超 PaddleOCR、MinerU
1.3B 引數的開源文件解析模型 OXR 在 OmniDocBench、olmOCR-Bench、DocParsingBench 三項基準上分別取得 97.18、87.84、87.76 分,均列第一。它覆蓋文字、表格、公式、化學結構式等 13 類元素,輸出 Markdown / JSON 並保留版面座標,公式轉 LaTeX、表格轉 HTML。
llama.cpp 新增 MiniCPM-OCR-Jev 支援
llama.cpp 建置 b11928 加入 MiniCPM-OCR-Jev,這是一個只打分、不生成文字的 OCR 模型。它以 Qwen3.5-VL 為骨幹,在最後一個 token 上讀取 value head,為影像與其渲染文字的匹配度打分,通過 POST /v1/systemone 的 openbmb-minicpm-ocr-jev 決策型別提供服務。checkpoint 沒有 LM head,因此文字生成請求會被拒絕;
小紅書開源 DoSA,1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。
DeepSeek 開源推理棧 DeepInfer,單叢集日處理 155 萬億 token
DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;
DeepSeek 上線 V4.1-Flash-1017,引數量升至 763B
DeepSeek 於 10 月 17 日把 V4.1 Flash 升級為 V4.1-Flash-1017,網頁端、App 與 API 同步切換,API 呼叫方式不變。新模型引數量 763B,高於 V4.1F 的 552B;Terminal-Bench 4.0 從 31.2 升至 42.3,max 檔每任務平均費用從約 3.3 元降至約 1.3 元,API 單價保持不變,權重以 MIT 許可在 Hugging Face 與 ModelScope 開放下載。