←事件详情

热点事件

Google开源TorchTPU原生PyTorch栈

3 篇正式报道3 条事件动态更新于 10月23日 07:52

先了解这件事

AI 综述

Google与Meta的PyTorch团队合作推出开源项目TorchTPU,为Google TPU提供原生PyTorch后端,迁移只需把model.to("cuda")改为model.to("tpu")。项目支持eager与torch.compile两种模式,新增DeferAndFuse eager模式,覆盖约450个Aten算子,并已在4,917个Hugging Face模型上验证开箱运行,其中Tier 1通过率98%、Tier 2相对GPU数值一致性97%。官方称其已用于部分Google Cloud大客户的推理与训练生产负载,并集成vLLM、SGLang、TorchTitan、Ray和TorchRec。后续报道称,在PyTorch Conference North America 2026上,Google开源了TorchTPU,运行时不再依赖JAX,现有负载只需少量代码改动即可迁移;PyTorch方面指出,TorchTPU默认的Skinny Collectives方案在分布式负载下相比优化方案约有30–40%的端到端性能损失,追求峰值性能仍需Pallas kernel及vLLM-T

AI 根据公开报道生成

最新进展 · 正式报道

PyTorch 大会 2026 在圣何塞举行,公布 TorchTPU 与 TorchNeuron 等进展

事件进展

1 个已确认进展

  1. Google开源TorchTPU原生PyTorch栈

    来源:PyTorch Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月23日

  1. PyTorch Blog一手

    PyTorch 大会 2026 在圣何塞举行,公布 TorchTPU 与 TorchNeuron 等进展

    PyTorch Conference North America 2026 于 10 月 20–21 日在圣何塞举行,吸引 3500 多名参会者,聚焦加速开放智能及 PyTorch、vLLM、DeepSpeed、Ray、Helion、Safetensors 等项目。会上公布了 Google 与 Meta 合作的 TorchTPU 原生 PyTorch TPU 后端,以及面向 AWS Trainium 的 TorchNeuron 原生后端,后者于 10 月 20 日以 Apache 2.0 进入公开测试。Shopify 分享了用 PyTorch 与 vLLM 构建持续学习循环的案例,称其每天将生产故障压缩进模型权重,服务成本降低 96%。

10月22日

  1. The New Stack

    Google 开源 TorchTPU,AWS 推出 TorchNeuron 公测

    在 PyTorch Conference North America 2026 上,Google 开源了面向 TPU 的原生 PyTorch 栈 TorchTPU,AWS 则发布面向 Trainium 的开源后端 TorchNeuron 公测版,两者均已在 GitHub 提供。TorchTPU 由 Google 与 Meta 的 PyTorch 团队合作开发,运行时不再依赖 JAX,现有负载只需少量代码改动即可迁移;TorchNeuron 支持 Trainium2 和 Trainium3 实例,迁移时改用 .to('neuron') 即可进行 eager 执行。PyTorch 方面指出,TorchTPU 默认的 Skinny Collectives 方案在分布式负载下相比优化方案约有 30–40% 的端到端性能损失,追求峰值性能仍需 Pallas kernel 及 vLLM-TorchTPU、SGLang-TorchTPU 等生产级栈。

10月21日

  1. PyTorch Blog一手精选

    Google 与 Meta 联合推出 TorchTPU,让 PyTorch 原生运行在 TPU 上

    Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式,新增 DeferAndFuse eager 模式,覆盖约 450 个 Aten 算子,并已在 4,917 个 Hugging Face 模型上验证开箱运行,其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载,并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

关联事件

  1. 相关事件Amazon推出TorchNeuron开源工具包
  2. 相关事件Meta发布开放权重模型Muse Spark Open
  3. 相关事件Recursive发布开放权重本地编码模型Flint
  4. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型