AISpot

DeepSeek 開源推理引擎 DeepInfer,支援 V4.1-Flash

Hacker News front page官方公告開源地端推論

DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer,目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心,Attention DP 與 MoE EP+EPLB 並行,DSpark 投機解碼(草稿長度預設 5),以及預設開啟的非同步排程、批不變推理、確定性取樣,並支援正則、JSON schema、EBNF 結構化輸出。

DeepSeek 首次把自家生產級推理引擎開源,公開 DSpark 投機解碼、批不變推理等內部實現細節與環境變數開關,並同時支援 NVIDIA SM100 與昇騰 950,對自建 V4.1-Flash 推理服務的團隊有直接參考價值。

原標題:DeepSeek just open-sourced its inference engine
閱讀原文

評分80 / 82(平均 81,門檻 76)
狀態精選

相關報導

量子位● 精選AI 評分92

DeepSeek 發布 V4.1-Flash-1017,同步開放自研搜尋 API

DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,網頁端、App 與 API 已同步切換。相比上一版 V4.1 Flash,程式碼與 Agent 任務等基準測試全面上漲,同時任務執行時間和輸出長度下降,官方稱其為效能—費用的帕累托改進;完整使用需把 DeepSeek Harness 升級至 0.2.1-rc.1 及以上,新使用者首次登入 Harness 可領 6 元贈金,7 天內有效、限量發放。