先了解这件事
RadixArk 的 SGLang 团队开源了 SGLang-TorchTPU。据 LMSYS Blog 2026 年 10 月 20 日发布的信息,该团队联合 Google 和 Meta 推出这一基于 PyTorch 的原生后端,把 SGLang 的完整服务栈带到 Google Cloud TPU,并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型,覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练,奖励曲线与 6 张 H200 基线在随机波动范围内一致。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
SGLang-TorchTPU 开源：把 SGLang 服务栈带到 TPU事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月20日
LMSYS Blog一手精选
SGLang-TorchTPU 开源：把 SGLang 服务栈带到 TPU
SGLang 团队联合 Google 和 Meta 开源 SGLang-TorchTPU，这是一个基于 PyTorch 的原生后端，把 SGLang 的完整服务栈带到 Google Cloud TPU，并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型，覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练，奖励曲线与 6 张 H200 基线在随机波动范围内一致。