找到 4 筆；也可以試試 語意搜尋
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer，目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心，Attention DP 與 MoE EP+EPLB 並行，DSpark 投機解碼（草稿長度預設 5），以及預設開啟的非同步排程、批不變推理、確定性取樣，並支援正則、JSON schema、EBNF 結構化輸出。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
Inco AI 推出開源推理引擎 Splash，專為 Apple Silicon 本地執行 Qwen3.6-35B-A3B 與 Qwen3.8-27B 最佳化，併為每個模型配備 DFlash 2 草稿模型做投機解碼。在 48GB M5 Pro 測試中，Qwen3.8-27B 短提示解碼約 74 tokens/s、32K 上下文 54 tokens/s，約為次快引擎的兩倍；四路併發短提示合計吞吐 170 tokens/s，為次快引擎的 3.9 倍。
DeepSeek 開源生產推理棧 DeepInfer，用於支撐 V4.1 Flash，基於 vLLM 定製，支援投機解碼、結構化輸出與分散式推理，覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s（編碼場景 300 tokens/s）。按離線時段 38 美元/加速器小時計，推理毛利率超 80%，回本約 81 天。