Latent Space● 精選AI 評分87
DeepSeek 開源生產推理棧 DeepInfer，單叢集日均 155 萬億 token
DeepSeek 開源生產推理棧 DeepInfer，用於支撐 V4.1 Flash，基於 vLLM 定製，支援投機解碼、結構化輸出與分散式推理，覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s（編碼場景 300 tokens/s）。按離線時段 38 美元/加速器小時計，推理毛利率超 80%，回本約 81 天。