DeepSeek 开源 DeepInfer 后,vLLM 与 SGLang 更新推理性能
DeepSeek 开源推理引擎 DeepInfer 不到一周,vLLM 和 SGLang 先后发布优化版本,在各自测试配置下性能接近甚至部分超过 DeepInfer。vLLM 在 131K 上下文、每轮 3 个草稿 token 的解码配置下,用 GB200 测得批大小 8 到 256 时吞吐与 DeepInfer 差距仅 6%,新增 token 的预填充吞吐提升 35.6%~43.9%;在 GB300 NVL72 机架上,SemiAnalysis AgentX 测试每卡吞吐达 95.4 万 tokens/s,是此前单节点结果的 7.9 倍。SGLang 在 4 张 B300、4 张 GB300 上测试预填充,最高吞吐比 DeepInfer 高约 4%,64 张 GB300 解码测试中每卡 256 请求时单步耗时 28.88 毫秒,比 DeepInfer 的 31.19 毫秒缩短约 7.4%。
#开源/仓库#推理#部署/工程