先了解这件事
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
AI 根据公开报道生成
事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
36氪 · AI
MaaS 成了：Anthropic 季度经营盈利，中国公有云 MaaS 半年收入 106.3 亿元
Anthropic 今年第二季度收入 115.55 亿美元，首次实现 9.74 亿美元经营利润，约 80% 收入来自按量计费。IDC 数据显示，2026 年上半年中国公有云 MaaS 市场收入达 106.3 亿元，同比增长 889.4%，占公有云 PaaS 收入比重从去年下半年的 5.2% 升至 21.0%。智谱开放平台及 API 收入 8.25 亿元、占总收入 86.5%，火山引擎以 45.1% 份额居首，文章认为模型服务已能产生毛利，竞争单位转向推理优化与交付能力。
10月29日
雷锋网
DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。