先了解这件事
Google与Meta的PyTorch团队合作推出开源项目TorchTPU,为Google TPU提供原生PyTorch后端,迁移只需把model.to("cuda")改为model.to("tpu")。项目支持eager与torch.compile两种模式,新增DeferAndFuse eager模式,覆盖约450个Aten算子,并已在4,917个Hugging Face模型上验证开箱运行,其中Tier 1通过率98%、Tier 2相对GPU数值一致性97%。官方称其已用于部分Google Cloud大客户的推理与训练生产负载,并集成vLLM、SGLang、TorchTitan、Ray和TorchRec。后续报道称,在PyTorch Conference North America 2026上,Google开源了TorchTPU,运行时不再依赖JAX,现有负载只需少量代码改动即可迁移;PyTorch方面指出,TorchTPU默认的Skinny Collectives方案在分布式负载下相比优化方案约有30–40%的端到端性能损失,追求峰值性能仍需Pallas kernel及vLLM-T
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:PyTorch Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月23日
PyTorch Blog一手
PyTorch 大会 2026 在圣何塞举行,公布 TorchTPU 与 TorchNeuron 等进展
PyTorch Conference North America 2026 于 10 月 20–21 日在圣何塞举行,吸引 3500 多名参会者,聚焦加速开放智能及 PyTorch、vLLM、DeepSpeed、Ray、Helion、Safetensors 等项目。会上公布了 Google 与 Meta 合作的 TorchTPU 原生 PyTorch TPU 后端,以及面向 AWS Trainium 的 TorchNeuron 原生后端,后者于 10 月 20 日以 Apache 2.0 进入公开测试。Shopify 分享了用 PyTorch 与 vLLM 构建持续学习循环的案例,称其每天将生产故障压缩进模型权重,服务成本降低 96%。
10月22日
The New Stack
Google 开源 TorchTPU,AWS 推出 TorchNeuron 公测
在 PyTorch Conference North America 2026 上,Google 开源了面向 TPU 的原生 PyTorch 栈 TorchTPU,AWS 则发布面向 Trainium 的开源后端 TorchNeuron 公测版,两者均已在 GitHub 提供。TorchTPU 由 Google 与 Meta 的 PyTorch 团队合作开发,运行时不再依赖 JAX,现有负载只需少量代码改动即可迁移;TorchNeuron 支持 Trainium2 和 Trainium3 实例,迁移时改用 .to('neuron') 即可进行 eager 执行。PyTorch 方面指出,TorchTPU 默认的 Skinny Collectives 方案在分布式负载下相比优化方案约有 30–40% 的端到端性能损失,追求峰值性能仍需 Pallas kernel 及 vLLM-TorchTPU、SGLang-TorchTPU 等生产级栈。
10月21日
PyTorch Blog一手精选
Google 与 Meta 联合推出 TorchTPU,让 PyTorch 原生运行在 TPU 上
Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式,新增 DeferAndFuse eager 模式,覆盖约 450 个 Aten 算子,并已在 4,917 个 Hugging Face 模型上验证开箱运行,其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载,并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。