The Decoder· Matthias Bastian·· 5 小时前AI 评分72
DeepSeek 开源推理框架 DeepInfer，支撑 V4.1-Flash 快速低成本推理
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，该框架是支撑其 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理方式，让自托管部署的行为与官方一致，并称未来 DeepSeek 模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗并让 AI 更可负担；文章认为这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。
来源：The Decoder · the-decoder.com