先了解这件事
AI 综述
2026年9月23日,Modal 通过官方工程博客分享其为编码智能体服务 Kimi K2.6 推理的性能优化方法。据该博客,Modal 以 Moonshot AI 的 Kimi K2.6 为例复盘推理服务优化过程,称单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。其做法包括用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型,基于 SGLang 打补丁并回馈上游,采用 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存,再配合负载感知的有状态路由,把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Modal 如何服务万亿 token 级编码智能体推理事件进展
1 个已确认进展
- 来源：Modal 官方工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月23日
Modal 官方工程博客一手
Modal 如何服务万亿 token 级编码智能体推理
Modal 官方工程博客复盘了为编码智能体提供推理服务的优化过程，以 Moonshot AI 的 Kimi K2.6 为例，单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。他们用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型，基于 SGLang 打补丁并回馈上游，通过 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存，再配合负载感知的有状态路由，把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。