DeepSeek开源推理框架DeepInfer

DeepSeek 以 Apache License 2.0 开源了其内部推理框架 DeepInfer。该框架是支撑其 V4.1-Flash 模型大规模快速生成回答的服务软件，基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。 DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理方式，让自托管部署的行为与官方一致。公司还称，未来 DeepSeek 模型的代码也将开源。 DeepSeek 表示，目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担。报道认为，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。