MiniMax M3.1 Flash 获 SGLang 与 Miles 首日支持
From inference to RL, ready from day one. 🐰
MiniMax 宣布 M3.1 Flash 从推理到 RL 均已就绪，SGLang 与 Miles 在发布首日即提供支持。据 SGLang 介绍，该模型在 SGLang 上 bs1 decode 超过 1K tok/s，支持 NVIDIA Blackwell 与 Hopper（GB300/B300/B200/H200）以及 AMD Instinct MI350X 和 MI355X，并支持 MiniMax 的 DSpark 草稿模型与 HiCache、多模态输入。
查看原帖Space Bunny 来了！🐰 MiniMax M3.1 Flash 达到 >1K tok/s，使用 SGLang 进行 bs1 解码，从第 0 天起即可投入生产。此集成由 @MiniMax_AI、@NVIDIAAI、@AMD 和 @radixark 联合完成，你还可以使用 Miles 运行 RL！ -广泛的硬件支持：NVIDIA Blackwell 和 Hopper（GB300/B300/B200/H200），以及 AMD Instinct MI350X 和 MI355X。 -大规模智能体服务：在 AgentX 编码智能体轨迹上，96 个并发会话时每 GPU 约 100K 总 tok/s。 -投机解码：支持 MiniMax 的 DSpark 草稿和由 @radixark 训练的 DFlash2 草稿；支持 HiCache 和多模态输入。 -超低延迟推理：MegaKernels 使单请求解码速度提升 2.15 倍。
查看原文
Space Bunny is here! 🐰 MiniMax M3.1 Flash hits >1K tok/s, bs1 decode with SGLang, production-ready from Day 0. This integration is a joint effort by @MiniMax_AI, @NVIDIAAI, @AMD, and @radixark, and you can also run RL with Miles! -Broad hardware support: NVIDIA Blackwell and Hopper (GB300/B300/B200/H200), plus AMD Instinct MI350X and MI355X. -Agentic serving at scale: ~100K total tok/s per GPU on the AgentX coding-agent trace with 96 concurrent sessions. -Speculative decoding: Supports MiniMax's DSpark draft and a DFlash2 draft trained by @radixark; supports HiCache and multimodal input. -Ultra-low-latency inference: MegaKernels deliver 2.15× faster single-request decode.
正文 · AI 翻译
从推理到强化学习，首日即已就绪。🐰
感谢 SGLang 背后的团队，以及 Miles @sgl_project 与 @NVIDIAAI 和 @AMD，对 MiniMax M3.1 Flash 的支持。合作愉快！