先了解这件事
AI 综述
2026年6月17日,LMSYS 发布消息称,SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T。该模型为 1T 稀疏 MoE 模型,每 token 激活 63B 参数,含 256 个路由专家、top-8 路由加一个共享专家。据 LMSYS Blog 介绍,新的 Pallas 融合 MoE V2 内核将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms,降幅 53%;decode 内核延迟从 0.249 ms 降至 0.211 ms。在相同 SGLang decode 基准下,16 块 TPU v7x 的输出吞吐达到 16 块 H200 GPU 的 1.29×(mc=128)至 1.77×(mc=512)。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月17日
LMSYS Blog一手
LMSYS 用 SGLang-JAX 在 TPU 上优化 Ling-2.6-1T：单个 Pallas 内核让 MoE 数据搬运隐藏在计算之后
SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新的 Pallas 融合 MoE V2 内核将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms（降幅 53%），decode 内核延迟从 0.249 ms 降至 0.211 ms。在相同 SGLang decode 基准下，16 块 TPU v7x 的输出吞吐达到 16 块 H200 GPU 的 1.29×（mc=128）至 1.77×（mc=512）。Ling-2.6-1T 为 1T 稀疏 MoE 模型，每 token 激活 63B 参数，含 256 个路由专家、top-8 路由加一个共享专家。