先了解这件事
2026年5月28日,SGLang与AMD团队展示了在AMD Instinct MI355X GPU上进行大规模DeepSeek-R1分离式推理的竞争性TCO结果。据LMSYS Blog介绍,团队通过SGLang与MoRI通信库优化,在129 tok/s/user交互性下达到每百万token 0.169美元,比B200 TRT-LLM低5%、比B200 SGLang低40%;每GPU吞吐2,436 tok/s(24 GPU),比B200 SGLang高1.25倍。优化手段包括MoRI量化all-to-all(往返带宽最多降低2.56倍)、MoRI-IO KV cache后端(吞吐比Mooncake高约10%)、SDMA双批次重叠、ROCm上的Specv2 MTP以及CPU流式优化。结果已开源,并通过SemiAnalysis的InferenceX持续验证。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月28日
LMSYS Blog一手
AMD Instinct MI355X 借助 SGLang 与 MoRI 实现成本可竞争的分布式推理
SGLang 与 AMD 团队合作，在 AMD Instinct MI355X 上通过 SGLang 与 MoRI 通信库优化 DeepSeek-R1 分离式推理，在 129 tok/s/user 交互性下达到每百万 token 0.169 美元，比 B200 TRT-LLM 低 5%、比 B200 SGLang 低 40%，每 GPU 吞吐 2,436 tok/s（24 GPU），比 B200 SGLang 高 1.25 倍。优化包括 MoRI 量化 all-to-all（往返带宽最多降低 2.56 倍）、MoRI-IO KV cache 后端（吞吐比 Mooncake 高约 10%）、SDMA 双批次重叠、ROCm 上的 Specv2 MTP 以及 CPU 流式优化。结果已开源并通过 SemiAnalysis 的 InferenceX 持续验证。