Google 与 Meta 在 PyTorch Conference 2026 开源 TorchTPU

在圣何塞举行的PyTorch Conference North America 2026上，Google和Meta开源了TorchTPU，这是面向Google张量处理单元（TPU）的原生PyTorch后端。Meta软件工程师Zongwei Zhou在10月21日的主旨演讲中表示，2016年创造了PyTorch的Meta计划借助它把更大规模的大语言模型工作负载迁移到TPU上。

TorchTPU取代了2020年的PyTorch/XLA——一个惰性张量桥接层，据公告称，它“需要进行侵入式的源代码修改”。新后端的目标是让模型移植变得像把model.to("cuda")改成model.to("tpu")一样简单。“借助TorchTPU，TPU与GPU和CPU一样，成为PyTorch的原生选项，”Google Cloud在由Core ML/AI工程副总裁Bill Jia联合撰写的公告中写道。

Jia与Zhou共同发表了题为“智能体时代的工作负载可替换性：将原生PyTorch引入Cloud TPU”的主旨演讲，此前有两场演讲铺垫了这一需求。PyTorch基金会执行董事Mark Collier表示，推理已超越训练，成为最大的数据中心工作负载，造就了“对token的惊人渴求”。Collier将社区的目标描述为：为模型提供“能在任何云的任何芯片上运行、并能连接任何智能体”的开源软件。基金会的主旨演讲幻灯片展示了这一市场变化之快：DeepSeek的Flash模型在37天内降价60%，Kimi K3在33天内在相同硬件上运行速度提升了68%。

智能体AI基金会执行董事Mazin Gilbert表示，2026年2月6日，智能体的token消耗量超过了人类消耗量。此后它增长了14倍，而人类仅增长2.8倍。“所以这基本上就是一条爆炸式增长的曲棍球棒曲线，”Gilbert说。从业者在引用这些数字前应核实其范围，因为公开数据来自单一平台OpenRouter。

演讲者表示，由于TorchTPU接入了PyTorch的底层调度器，Hugging Face模型开箱即用。vLLM和SGLang推理引擎可原生运行，TorchTitan支持稠密模型、混合专家模型和扩散模型的大规模训练。Ray和llm-d可在Kubernetes上跨主机扩展TPU工作负载。共有四个仓库开源：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU和TorchTitan。

Jia展示了超过8,000块TPU芯片的近线性扩展，随着集群扩大，每芯片吞吐量大致保持恒定。Google公布的结果包括在8,192块TPU v7x芯片上运行Qwen3 235B混合专家模型，模型FLOPs利用率达到28%。公告坦承，一行改动只是一个起点：

仅靠这一简单改动无法达到TPU的峰值性能，因为模型的形状、分片和算子可能偏向GPU架构；不过，模型应当能够开箱即用。

Google对这一调优缺口的应对之策是更多的智能体。Jia最后宣布了TPU智能体套件，现已在GitHub上提供预览版，它可接入编码工具链，自动完成上手、诊断和性能调优。

Zhou表示，Meta的PyTorch团队与Google共同开发了TorchTPU，“使TPU成为一等原生PyTorch目标”，并援引了生产环境对性能、可靠性和可维护性的需求。“所有这些都已开源，今天即可使用，而这仅仅是个开始，”Zhou说。Meta的PyTorch工程总监Jana van Greunen在Google Cloud的公告中给出了动机：

在Meta，推进AI前沿需要巨大的算力规模和深度的硬件多样性。我们不能被单一硬件架构所束缚。

Google并非孤例。AWS于10月20日将其Trainium芯片的原生PyTorch后端TorchNeuron投入公开测试，唯一需要改动的代码是.to('neuron')。两个后端都通过PrivateUse1注册，这是PyTorch为自定义硬件提供的扩展点。TorchNeuron的首个版本存在不足：The Next Web报道称，它尚不支持动态输入形状，并跳过了约22,000项PyTorch测试。在为Forkast撰写的分析中，Blair Hayes认为锁定效应只是转移了，而非消失了：

虽然PyTorch扩展点为开发者提供了通用语言，但优化层和供应层仍牢牢掌握在厂商手中。

在Hacker News上，TorchTPU发布帖获得了379分，宽慰与实际的疑虑交织在一起。“我记得那些不得不与XLA较劲才能让PyTorch在TPU上运行的日子，看来我们终于有了官方支持！”一位评论者写道。其他人则询问到底在哪里能买到TPU。一位其公司考察过Google本地部署TPU的评论者态度更为冷淡：“我们评估过它们，但决定继续使用Nvidia，至少再用一代。”

可移植性也是数据中心之外的卖点。在一场关于用ExecuTorch部署机器人策略的会议中，Meta的Anthony Shoumikhin和Jacob Szwejbka主张，策略可以从训练到设备全程留在PyTorch中，无需转换栈。相同的量化和算子图可运行在从NVIDIA Jetson上的TensorRT到Intel上的OpenVINO等各种目标上。

训练分会场则从成本角度给出了数字。RadixArk的Yueming Yuan在介绍Miles强化学习框架时表示，将两次对数概率计算融合进一个内核，使该步骤提速10倍以上。在一次大规模运行中，增量更新将每次权重同步传输的数据量从62 GB降至1 GB以下。

用于通过强化学习训练智能体的开源工具经历了多场会议。Anyscale的SkyRL将训练、推理和环境分离，并用Ray进行编排。Hugging Face的OpenEnv于10月22日加入Agentic AI Foundation，它为每个强化学习环境提供相同的接口。Hugging Face的Sergio Paniego Blanco利用TRL和OpenEnv，通过四个编码智能体训练了一个小型Liquid AI模型，使其在留出任务上的得分从42%提升到54%。

对于正在权衡是否迁移的团队来说，一行代码的设备切换只能让模型跑起来，而非完成调优，因此要为分片和内核工作预留预算，并首先确认TPU容量。有兴趣进一步了解的开发者可以阅读TorchTPU公告、TorchTPU代码仓库，或InfoQ对PyTorch Conference 2024的报道。会议录像预计将在活动结束后两周内发布在PyTorch Foundation的YouTube频道上。