DeepSeek 开源其 API 背后的推理引擎 DeepInfer，同时支持 Nvidia 与华为昇腾

DeepSeek 已开源其用于在生产环境中服务自家模型的推理引擎，而该公司去年曾表示这一步尚不具可行性。

该框架名为 DeepInfer，旨在让开发者能在自有基础设施上运行 DeepSeek 的 V4.1 Flash 模型，并采用许多与该公司在其 API 背后所使用的相同优化。未来 DeepSeek 模型的支持也已列入计划。

“高效运行模型完全是另一回事。”

当然，DeepSeek 长期以来一直提供模型权重供开发者下载，并使用 vLLM 等第三方软件运行。但高效运行模型完全是另一回事。负责管理请求、在芯片间分配工作并生成响应的软件，可能对速度、吞吐量和计算成本产生重大影响。因此，DeepInfer 实质上让开发者得以使用 DeepSeek 自身应对这些挑战的方法。

“我们分享我们的生产栈，以帮助社区降低计算成本、减少能源消耗，并让 AI 更可负担。”

“让 AI 更可负担”

DeepSeek 周二在 X 上表示，它正在向外部开发者提供其内部推理技术，以降低运行大型 AI 模型的费用。

该公司写道：“我们分享我们的生产栈，以帮助社区降低计算成本、减少能源消耗，并让 AI 更可负担。”

🚀 隆重推出 DeepInfer，我们的自研推理框架，现已完全开源！

以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享我们的生产栈，以帮助社区降低计算成本、减少能源消耗，并让 AI 更…—— DeepSeek (@deepseek_ai) 2026年10月20日

DeepInfer 以 Apache 2.0 许可证发布，包含优化的计算内核和通信库，其中包括 DeepSeek 此前已开源的 FlashMLA、DeepGEMM 和 DeepEP，以及用于在多芯片间分布式推理的机制。它还支持投机解码——一种通过一次性预测并验证多个 token 来加速响应生成的技术——以及异步调度，以减少处理器等待新任务的时间。该框架还支持结构化输出，允许开发者指定模型响应的格式。

除 DeepInfer 外，该公司还开源了 deepseek-recipe，这是一个配套库，负责处理 API 请求如何转换为模型输入，以及生成的输出如何被处理为响应。它提供 Rust 和 Python 版本，旨在帮助开发者在运行自有部署时复现 DeepSeek 官方 API 的行为。该库于 9 月悄然发布，周二又发布了更新版本。

这一公告发布仅数天前，DeepSeek 刚发布了 V4.1 Flash 的更新版本 DeepSeek-V4.1-Flash-1017，宣称在编码性能和效率方面有所提升。据 The New Stack 周一的报道，该版本发布的同时，该公司还通过新的 Search 和 Fetch API 向开发者开放了其内部网络搜索技术。

DeepSeek 为何在 2025 年有所保留

DeepInfer 比 DeepSeek 此前分享其推理技术的计划走得更远。早在 2025 年 4 月，该公司发布了一份文件，概述其推理引擎的计划，并解释称它曾考虑发布整个系统，但最终决定改为向现有项目贡献单个组件和改进。

当时，DeepSeek 指出了若干障碍。其推理软件已从早期版本的 vLLM 演变为高度定制的系统，公司质疑其相对较小的研究团队能否再维护一个大型开源项目。此外，要让该软件在 DeepSeek 自身基础设施之外可用，也存在实际困难。

该公司当时写道：“该引擎与我们的内部基础设施（包括集群管理工具）紧密耦合，若不进行重大修改，则不适合公开部署。”

那么，现在究竟发生了什么变化？DeepSeek 并未解释它如何克服了早先的那些困难，不过新版本的范围提供了一些线索。DeepInfer 的文档明确表示，公开可用的软件目前支持离线推理，并具备“大规模服务所需的核心功能”，正如该公司所说。然而，运营完整生产服务所需的若干组件仍然缺失。这些包括 KV 缓存管理系统、将推理不同阶段跨机器分离的基础设施，以及跨副本的负载均衡。

换言之，DeepSeek 开放了负责运行其模型的大部分引擎，同时让开发者自行提供运营完整服务所需的部分周边基础设施。这种范围更窄的发布或许有助于解释，该公司如何在去年指出的挑战之下仍使其技术可用。

Nvidia 与华为，并肩而立

虽然 DeepSeek 推理引擎的发布本身已足够重要，但可以说更有意思的细节是从第一天起就支持的硬件。

“可以说更有意思的细节是从第一天起就支持的硬件。”

正如预期，Nvidia 也在其中，不过支持仅限于其 SM100 架构，该架构用于 Blackwell 数据中心 GPU。值得注意的是，另一个受支持的平台是华为的昇腾 950 NPU 系列，这使这家中国芯片制造商与 Nvidia 一同出现在 DeepSeek 的兼容硬件列表中。较旧的 Nvidia 架构，包括 Hopper，则明显缺席。

这也与 DeepSeek 在 2025 年公布的开放源代码计划相呼应。当时该公司不愿发布其完整的推理引擎，但承诺在未来模型发布前与硬件制造商合作，目标是从第一天起就让其模型可在不同的芯片架构上使用。

美国的出口限制使中国企业获取 Nvidia 最先进芯片变得更加复杂，这也为 DeepSeek 与华为日益紧密的关系增添了另一个维度。9 月，彭博社报道称，DeepSeek 计划在内蒙古的一个新数据中心部署至少 16 万颗华为昇腾 950DT 芯片，专门用于运行其模型。该公司在训练方面主要依赖 Nvidia，不过《The Information》9 月报道称，DeepSeek 也计划增加使用华为芯片进行训练，预计最早在第四季度交付。

当月晚些时候，路透社报道称，DeepSeek 与华为正在合作开发软件工具，旨在让昇腾处理器更易于编程，这进一步凸显了该公司对中国 AI 硬件的投入。

华为的加入已经引起了更广泛开发者社区的关注。在 Reddit 的一场讨论中，一位评论者将这两个受支持的硬件平台列为这条新闻的亮点，而另一位评论者则指出，DeepSeek 源自量化金融，这可能是其技术专长的原因之一。

“DeepSeek 再次证明了高频交易者在优化性能方面有多擅长……而且还是在昇腾 NPU 上！！，”这位评论者写道。

另一位用户似乎是在调侃 Anthropic 的 Claude Opus 5.5，此前有报道称，涉及为华为 AI 芯片进行内核编程的请求可能会触发防护机制，将某些高级 AI 开发任务重定向到较旧的模型。

“别让 Opus 5.5 看到这个！它会删掉昇腾支持的，”这位用户开玩笑说。

值得注意的是，Nvidia 和华为实现版本的功能支持有所不同。DeepInfer 的批次不变推理和确定性采样功能有助于确保在指定条件下输出可复现，但这些功能仅在 Nvidia 硬件上可用。DeepSeek 公布的性能测量数据也使用 Nvidia GPU，其中 4 块 SM100 GPU 用于预填充，64 块用于解码，这就留下了该框架在华为芯片上相比表现如何的疑问。

对于无法获得这两个芯片系列的开发者来说，直接价值可能在于研究新公开的代码，并将其优化适配到其他推理引擎。目前，DeepSeek 已经向更广泛的开源社区提供了相当多的推理技术供其试验。

文章《DeepSeek 开源其 API 背后的推理引擎。华为与 Nvidia 获得同等关注。》首发于 The New Stack。