先了解这件事
AI 综述
2026年1月21日,Novita AI 宣布基于 SGLang 为 GLM4-MOE 模型开发了一套生产级优化方案。据 LMSYS Blog 报道,该方案在 H200 集群 TP8 与 FP8 配置下,实现 TTFT 最高降低 65%、TPOT 提升 22%。优化内容包括 Shared Experts Fusion、Qknorm Fusion 和 Async Transfer,其中 Shared Experts Fusion 单独带来 TTFT 最高 23.7%、ITL 20.8% 的提升。此外,Suffix Decoding 在 MTP 加速基础上进一步将 TPOT 从 25.13ms 降至 19.63ms。报道称相关组件多数已合并至 SGLang 上游。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月21日
LMSYS Blog一手
Novita AI 优化 GLM4-MoE 生产部署：TTFT 降低 65%，TPOT 提升 22%
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套生产级优化方案，在 H200 集群 TP8 与 FP8 配置下实现 TTFT 最高降低 65%、TPOT 提升 22%。优化包括 Shared Experts Fusion、Qknorm Fusion 和 Async Transfer，其中 Shared Experts Fusion 单独带来 TTFT 最高 23.7%、ITL 20.8% 的提升。Suffix Decoding 在 MTP 加速基础上进一步将 TPOT 从 25.13ms 降至 19.63ms，相关组件多数已合并至 SGLang 上游。