小米发布 MiMo-V2.5-Pro-UltraSpeed，1T 模型单节点突破 1000 tokens/s
🚀 1,000+ TOKENS/S ON A 1T MODEL! 🚀
小米 MiMo 与 TileRT 联合发布 MiMo-V2.5-Pro-UltraSpeed，在 1T 参数 MoE 模型上首次突破 1000 tokens/s 输出速度，且只用单台标准 8-GPGPU 节点，不依赖 Cerebras 式晶圆级集成或 Groq 式片上 SRAM 芯片。该速度来自模型与系统协同设计：模型侧采用 FP4 量化和 DFlash 块掩码并行推测解码，系统侧由 TileRT 定制编译器与 kernel。官方表示将开源 FP4 + DFlash 权重，UltraSpeed 申请通道开放至 6 月 23 日（PDT），API 价格为 3 倍换取约 10 倍输出体验提升。
推荐理由
精选AI 评分 64
小米与 TileRT 用 FP4 量化和 DFlash 推测解码，在单台标准 8 卡节点上把 1T MoE 模型推到 1000+ tokens/s，可看工程路径。
主题
正文
当前显示原文，中文全文译文尚未就绪。
🚀 1,000+ TOKENS/S ON A 1T MODEL! 🚀
We are thrilled to release Xiaomi MiMo-V2.5-Pro-UltraSpeed in collaboration with @TileRT_AI , breaking the 1,000 tokens/s output speed on a 1 Trillion parameter model for the FIRST TIME!
Not wafer-scale integration like Cerebras. Not pure on-chip SRAM chips like Groq. We achieve 1,000 tps on a 1T MoE model using just a SINGLE, STANDARD 8-GPGPU NODE.
Want to experience the future of real-time AI? 👉 Apply for UltraSpeed now: https://t.co/aeWAxyhwVk ⏳ Limited-Time Access: Application-based · Jun 8 – Jun 23 (PDT) 💬 Chat Experience: Completely FREE for a limited time — try the blazing-fast web chat now. ⚡ UltraSpeed API: Just 3x the price for a ~10x boost in output experience. 🤝 Enterprise & Large-Scale Needs: business-mimo@xiaomi.com