LMSYS 宣布 SGLang 与 Miles 发布日支持 DeepSeek-V4
2026年4月25日,LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持,覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重,团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制,并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练,已在 32 张 GB300 上完成 285B 模型训练,首步 rollout 与训练 log-prob 偏差约 0.023。目前尚无后续发展事实。
匹配字段标题