After DeepSeek Open-Sourced DeepInfer, vLLM and SGLang Update Inference Performance
English text is being prepared.
Less than a week after DeepSeek open-sourced its inference engine DeepInfer, vLLM and SGLang successively released optimized versions, with performance approaching or even partially exceeding DeepInfer under their respective test configurations. Under a decoding configuration with a 131K context and 3 draft tokens per round, vLLM measured on GB200 showed that at batch sizes from 8 to 256, the throughput gap with DeepInfer was only 6%, while prefill throughput for newly added tokens improved by 35.6%–43.9%; on a GB300 NVL72 rack, the SemiAnalysis AgentX test achieved per-GPU throughput of 954,000 tokens/s, 7.9 times the previous single-node result. SGLang tested prefill on 4 B300s and 4 GB300s, with peak throughput about 4% higher than DeepInfer; in a 64-GB300 decoding test with 256 requests per GPU, the single-step latency was 28.88 milliseconds, about 7.4% shorter than DeepInfer's 31.19 milliseconds.
Why read this
AI score 68
The original article compares the measured throughput differences among vLLM, SGLang, and DeepInfer, and lists their respective key optimization points, which can be used to understand the engineering progress of open-source inference frameworks.
Topics
Body
还得是「源神」D老师，善呐！
自家推理引擎DeepInfer掏出来还不到一周，开源社区就纷纷交上了作业。
真乃一鲸“落”万物生，第一波开源效果已经新鲜出炉：
立志学习DeepSeek、成为DeepSeek、超越DeepSeek。（bushi）
vLLM、SGLang这些成熟的推理框架率先迎来T0升级包——
在各自披露的测试配置下，性能已经接近甚至部分超过DeepInfer。
不戳不戳！DeepInfer最初基于vLLM构建，设计上也借鉴了SGLang的思路。
如今DeepSeek把打磨后的实现公开，两家又接着吸收、继续优化。
哥几个才是把开源玩出了花。
还有些受DeepInfer灵感启发的开发者个人项目陆续上线，从硬件适配、推理加速到部署优化，画风各不相同。
这回交出的成绩，已经从「追平DeepInfer」一路延伸到了整机架部署。
通过集成DeepSeek的开源内核，并对预填充和解码阶段进行大量优化，vLLM现在的性能曲线已经可以与DeepInfer持平。
在相同解码配置（131K上下文、每轮3个草稿token）下，vLLM使用GB200测得的吞吐量，在批大小为8到256的范围内，与DeepInfer差距仅为6%。
预填充这边，新增token的吞吐量也提升了35.6%～43.9%。
再把部署规模拉到NVIDIA GB300 NVL72机架。
配合预填充与解码分离、扩大专家并行，vLLM在SemiAnalysis AgentX测试中的每卡吞吐高达95.4万tokens/s，是此前单节点结果的7.9倍。
同一个DeepSeek，还真被他们继续挤出了速度。。。
要说这些提升怎么来的？团队几乎做到了每一个细节都不放过。
比如处理输入时，稀疏注意力需要从一批候选中筛出值得关注的内容，这就涉及top-k选择。
此前的一条路径，会先把DeepGEMM输出的BF16分数转换成FP32，再进行筛选。
新的实现则直接让DeepSelect处理BF16数据，把中间那次转换省掉。
少启动一道计算，看起来只是一个小改动，但在对应的算子测试中，这部分top-k处理速度能达到原来的约3.7倍。
vLLM团队还自己另外改了一套CPU通信方式，采用递归倍增等方式交换信息，减少同步所需的轮次。
对应Agent常用的小批量解码，vLLM也选择单独支持DSpark草稿生成，并使用完整CUDA Graph执行专用解码路径。
SGLang紧接着交出的答卷，则走得更远，把输入、输出两个阶段都覆盖到了。
SGLang分别在4张B300、4张GB300上测试预填充，最高吞吐比DeepInfer高出约4%。
解码测试时，同样使用64张GB300。
每卡256个请求时，DeepInfer每步耗时31.19毫秒，SGLang为28.88毫秒，单步时间缩短约7.4%；每卡8个请求时，两者则基本持平。
具体操作中，SGLang先是将Mega内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA有界重放以及Engram优化通通集成。
达到对标DeepInfer的性能后，再继续迭代，引入更多内核融合方案。
随后通过支持可拆分CUDA图，实现高效预填充。
最终对比DeepInfer的开源版本，SGLang更为完整，额外补充了关键的服务组件，包括KV缓存系统、预填充/解码分离架构以及负载均衡模块。
值得一提的是，SGLang为了更严谨地对比，还在GB300和B300上，将DeepInfer重新跑了一遍。
结果不跑不知道，DeepInfer部分配置的吞吐，比原先公布的成绩还高。。。
此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。
它把多个模型都会用到的部分做成公共底座，比如调度器、KV缓存管理等。再由用户自行补上特定模型、特定硬件需要的计算实现，就能组合出一个独立引擎。
Eric自述，最近一周他受DeepInfer启发，成功让不少功能和并行机制跑了起来。
根据测试结果，在DeepSeek-V4.1-Flash上，Resin的性能与DeepInfer相差约5%～10%，同时具备HTTP服务、前缀缓存和指标等功能。
接着，他又给这个底座配了个Skill。
任务是教会AI如何基于Resin实现模型，再把Codex放上去通宵干。
据他披露，Agent完成了支持MTP的GLM-5.3-Flash引擎；在B200、EP4配置下，输入吞吐最高达到6万tokens/s，输出吞吐最高达到1.6万tokens/s。
而且！Resin依旧开源。
泪目了，大肥鱼，这开源盛世如你所愿。
DeepInfer从开源来，又回归开源。成熟框架接着继续集成和优化，个人开发者也得以吸收其中的设计，接力开源。
So，大肥鱼才是真正领悟了可持续开源的真谛～
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。