DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
规模 MoE 部署中维持较连续的 Decode 执行。 04 推理优化开始深入执行时序 DeepInfer 的 Zero-Overhead Batch Scheduler 借鉴了 SGLang、NanoFlow 等已有异步调度实践。它的工程特点集中在跨轮次状态修正、在途 Token 记账、KV Cache 生命周期管理，以及与宽专家并行的协同实现。目前官方尚未单独公布这套调度机制相对同步方案的完整端到端加速数据，DeepInfer 的整体性能结果还包含底层 Kernel、模型并行和其他执行优化的共同作用。当前公开版本也主要面向 DeepSeek-V4.1-Flash，完整线上服务所需的部分基础设施仍未开放。随着 Coding Agent 和长链路推理任务不断增加，Decode 需要执行的轮次持续增长。DeepInfer 展示了一条明确的工程路线：通过跨轮次执行重叠减少调度空档，再利用状态修正与资源生命周期管理维护正确性，让更多 GPU 时间用于实际模型计算。参考链接：https://github.com/deepseek-ai/DeepInfer/blob/main/README.md
匹配字段正文
