Google 开源 TorchTPU,为 Cloud TPU 提供原生 PyTorch 后端
Google 开源 TorchTPU,这是与 Meta 的 PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端,在 PyTorch Conference 2026 上宣布,现有代码通过 torch.device("tpu") 即可指向 TPU。Google 团队称 TorchTPU 取代 PyTorch/XLA,建议所有新工作负载使用;它基于 PrivateUse1 接口,提供 Strict、Debug、DeferAndFuse 三种 eager 模式,torch.compile(backend="tpu") 经 StableHLO 和 OpenXLA 编译。TorchTPU 在 PyPI 上为 v0.2.0,要求 Python 3.11+,Apache 2.0 许可,配套 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 仓库;Google 自报 TorchTitan 在 Ironwood 上训练 Qwen 3 8B 达到 52% MFU,可扩展至 8,192 颗芯片。
8,192 Ironwood TPUs. Tuning ladder: In a TorchTitan fine-tuning case, step time fell from 11.49s to 2.78s. DeferAndFuse alone gave 1.15x. Full torch.compile gave 3.80x. Model coverage: Google continuously tests about 5,000 Hugging Face models in eager and compiled modes. Fleet serving: Zenteiq grew daily output from 1.47B to 5.97B tokens per 1,000 TPU v6e chips. That gain came from llm-d routing on GKE, not TorchTPU alone. What integrations ship with TorchTPU? Hugging Face: Transformers v5 depl
匹配字段正文











