Latent Space● 精選AI 評分87
DeepSeek 開源推理棧 DeepInfer，單叢集日處理 155 萬億 token
DeepSeek 開源了生產推理棧 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，支援最長 72 小時 prompt 快取、投機解碼與結構化輸出，相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s，按非高峰電價折算單卡每小時收入 38 美元，毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源；