DeepSeek开源生产推理栈DeepInfer
先了解这件事
DeepSeek在PyTorch Conf首日开源了生产推理栈DeepInfer，该栈支撑DeepSeek V4.1 Flash。开源范围覆盖推理引擎与API处理层，支持分布式推理、投机解码、SWA Bounded Replay和结构化输出，可在NVIDIA与华为昇腾平台运行；同时发布的deepseek-recipe负责Chat Completions、Responses、Messages等API协议转换。KV缓存管理与负载均衡组件因与内部基础设施耦合，尚未完全开源。 DeepSeek官方工程报告称，DeepInfer单集群日处理155万亿tokens，输入缓存命中率96%，首token平均400毫秒，生成速度230 tokens/s（编码场景300 tokens/s），非高峰时段单卡每小时收入38美元。这些数字来自DeepSeek自己的工程报告，并非第三方验证结果。 目前DeepInfer面向NVIDIA SM100 GPU和华为昇腾950 NPU，通过DEEPINFER_ACCELERATOR=nvidia|ascend切换，运行环境要求Linux、Python 3.12，以及CUDA 13或CANN 9.2。 vLLM团队回应称，在GB200匹配配置下，其解码吞吐与DeepInfer公布结果相差6%以内，并公开了复现配方。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Latent Space精选DeepSeek 开源推理栈 DeepInfer，单集群日处理 155T tokens
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer，该栈支撑 DeepSeek V4.1 Flash，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA 与华为昇腾平台，同时发布 deepseek-recipe 处理 Chat Completions、Responses、Messages 等 API 协议转换。官方工程报告称单集群日处理 155 万亿 tokens、输入缓存命中率 96%、首 token 平均 400 毫秒、生成速度 230 tokens/s（编码场景 300 tokens/s），非高峰时段单卡每小时收入 38 美元。KV 缓存管理与负载均衡等组件因与内部基础设施耦合尚未完全开源。vLLM 团队回应称在 GB200 匹配配置下其解码吞吐与 DeepInfer 公布结果相差 6% 以内，并公开了复现配方。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月21日 16:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。