LMSYS 推出 SGLang 低延迟模式,NVIDIA 与 AMD GPU 推理提速
LMSYS 发布 SGLang Low-Latency Mode,通过插件框架把专用 kernel 接入 SGLang,在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace,单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s(1.38×);在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s(1.56×)。NVIDIA 侧 kernel 位于 sgl-nvidia-mega,AMD 侧位于 sgl-amd-mono,均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段摘要、正文