X @deepseek_ai● 精選AI 評分60
DeepSeek 介紹 DeepInfer 推理引擎，含分散式推理與投機解碼
DeepSeek 介紹 DeepInfer 推理引擎，包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
搜尋
找到 3 筆；也可以試試 語意搜尋
X @deepseek_ai● 精選AI 評分82
DeepSeek 開源自研推理框架 DeepInfer
DeepSeek 已將自研推理框架 DeepInfer 完整開源。該框架在其生產環境中支撐 DeepSeek-V4.1-Flash 的大規模推理服務，主打高吞吐與低延遲。官方表示，公開這套生產環境所用的推理元件是為了幫社群降低算力成本、減少能耗，讓 AI 更可負擔。推文未給出具體效能數字，硬體支援與部署方式需檢視開源倉庫。
Hacker News front page● 精選AI 評分81
DeepSeek 開源推理引擎 DeepInfer，支援 V4.1-Flash
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer，目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心，Attention DP 與 MoE EP+EPLB 並行，DSpark 投機解碼（草稿長度預設 5），以及預設開啟的非同步排程、批不變推理、確定性取樣，並支援正則、JSON schema、EBNF 結構化輸出。