DeepSeek open-sources inference framework DeepInfer and token codec component
English text is being prepared.
On the afternoon of October 20, DeepSeek open-sourced its internal inference framework DeepInfer and the accompanying token codec component deepseek-recipe under the Apache 2.0 license, currently supporting DeepSeek-V4.1-Flash. According to official disclosures, a single cluster serves a daily throughput of 155 trillion tokens; at the API off-peak price, this amounts to $38 revenue per card per hour, and some calculated a gross margin of 82% based on a rental cost of $7 per hour per B300. DeepInfer supports NVIDIA SM100 GPUs and Huawei Ascend 950 NPUs, integrates capabilities such as speculative decoding and asynchronous scheduling, and was initially developed mainly based on vLLM; the company says KV Cache is retained for 3 days for Agent traffic and 7 days for chat traffic.
Why read this
SelectedAI score 78
The original text discloses details of DeepInfer's throughput and cache retention, which can be used to understand how efficient inference supports low pricing and profit margins.
Topics
Body
没想到这也开源了。
10 月 20 日下午，DeepSeek 开源了内部使用的推理框架 DeepInfer，以及配套的 token 编解码组件 deepseek-recipe。
DeepInfer 是目前支撑 DeepSeek 大规模推理服务的基础，本次以 Apache 2.0 许可证发布，当前支持 DeepSeek-V4.1-Flash。
这次发布迅速引起了关注，昨天大家讨论的都是 DeepSeek 现在让大家都可以快速部署自己的 AI 模型了，今天转念一想，不对，大模型推理怎么这么赚钱啊？
DeepSeek 披露，基于这套系统，单个集群每天服务的吞吐量达到 155 万亿 token，按 API 谷价算，整体收入达到每卡每小时 38 美元。
这是个什么概念呢？有人算出了毛利率是 82%：假设你卖的 API 使用率够高，并以每张 B300 每小时 7 美元的租金租用显卡，仅扣租金后仍有可观的余量。
DeepInfer 给如今 AI 服务价格的讨论补充了重要的数据，让我们第一次知晓了把模型高效运行起来的工程能力。
对于普通用户来说，调用大模型只是发出请求、等待回答。服务端则需要安排大量请求共享芯片，读取模型参数，调动分布在不同设备上的计算资源，还要控制排队和生成延迟。
大家会发现，模型都是 DeepSeek 的同样型号，但官方 API 和第三方部署的用起来不太一样，这是因为同一个模型，采用不同的推理实现，每张卡能同时服务多少用户、用户需要等多久都可能不同。推理框架解决的正是这类问题，它旨在提高推理效率，让单位算力的有效吞吐，以及用户感受到的响应速度实现最优水平。
这方面应该没有比 DeepSeek 自己做得更好的了。
DeepInfer 主要面向大规模部署，支持英伟达 SM100 GPU 和华为昇腾 950 NPU，整合优化算子、分布式并行、推测解码、异步调度等能力，也支持按 JSON Schema 等规则约束输出。DeepInfer 最初主要基于 vLLM 开发，也参考了 SGLang 和 TensorRT-LLM。
与此同时，deepseek-recipe 负责把不同格式的 API 请求转换成模型使用的提示词和 token 序列，再把输出还原成相应格式的响应。它支持 Chat Completions、Responses、Messages 等接口格式，涵盖思考内容、工具调用和流式输出等处理。
这对于第三方部署有重要的意义：开发者可以复用官方的请求处理与编解码逻辑，减少同一套应用换到其他服务端后出现行为差异的机会。模型能否顺利接入已有 Agent 工作流，往往也取决于这些细节。
当前开源的仓库提供了离线推理及支撑大规模服务的核心能力，当然，完整线上服务仍需配套 KV Cache 系统、视觉编码与 Prefill/Decode 分离部署，以及跨副本负载均衡等组件。第三方获得了一套重要的引擎，落地时仍要完成系统集成。
这些部署工作的共同目标，是让每张卡少做重复计算，服务更多请求。
从官方部署资料看，DeepSeek 的优化思路包括按推理阶段组织资源、复用上下文计算结果，以及提高每次解码的有效产出。
大模型处理请求时，先要处理输入上下文（也就是 Prefill），然后逐步生成回答（也就是 Decode）。把两个阶段分开部署可以分别安排资源，避免不同负载挤在一起。这有助于同时优化首个 token 的等待时间和后续生成速度。
缓存则尤其适合长对话和 Agent。智能体调用工具后，下一轮请求常常再次携带前面的系统提示、工具说明和历史记录。如果能够复用已有上下文的中间计算结果，就可以减少反复处理同一段内容的开销。
一个突出的地方在于 KV Cache 的保留时间，官方披露说 Agent 流量保留 3 天，聊天流量保留 7 天。这些缓存放在独立的 3FS 存储集群里，各台 Prefill 机器都能读取。通过把跨天保留、共享存储和自动匹配结合起来，DeepSeek 让已经算过的长上下文在更多后续请求中继续发挥作用。
其他家包括 Anthropic、OpenAI 和 Google，缓存保留的时间大多在 5 分钟到 24 小时之间。
另一个例子是 DSpark 推测解码：先生成候选 token，再交给主模型验证。DeepSeek 进一步根据候选的预计接受率安排验证，减少花在低收益候选上的计算。官方部署问答估算，在所列生产工作点附近，动态长度验证相对固定验证 5 个候选 token，可提高约 4-7% 的吞吐。
这些优化累积起来，改变的是每块显卡能够交付的服务量。他售价低但真不在亏钱，只要算力不闲着，而且计算卡买的越多就赚的越多。
围绕 token 成本的讨论，按当前官方的价格表，DeepSeek-V4.1-Flash 和 V4.1 Pro 的 API 是这样的。
比较服务收入与成本，需要同时考虑输入、输出和缓存命中的构成。毕竟缓存命中输入的售价只有未命中的五十分之一。好就好在 DeepSeek 自己说了个 38 美元的数。
除了租 GPU 的 7 美元，即便把其他服务开支加上，API 售价与成本之间仍有相当大的距离，这说明高效推理有可能同时做到低定价和可观的盈利空间，怪不得云服务厂商都在借钱盖数据中心。在 Hacker News 上，人们的讨论存在分歧，有人按更低的 GPU 成本推算出了更高的利润空间，也有人强调必须计算模型整个生命周期的投入。
不过之前「10 个月内收回全部设备成本」的说法，现在算是有了依据。
另一方面，《The Information》上个月曾披露 DeepSeek 年化收入达到约 10 亿美元，大致对应每天 274 万美元，如果对照每卡每小时 38 美元的话，正好等效 3000 张卡。
DeepInfer 提供了优化部署的代码起点。对于大多数用户而言，更充分的推理竞争有望带来更低的调用成本和更好的响应体验。
不知未来是大家「不用去耽误梁叔叔训练 AGI」，还是会等 V4.1 Pro 推出，再次挤爆 DeepSeek 服务器？
参考内容：
本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注DeepSeek的机器之心，编辑：泽南，36氪经授权发布。