Google 一年内推出四款 TPU 系统，新增 TPU 8tx 与 TPU 8i Max

要点

通过两款新的 TPU 变体，Google 正瞄准机密 AI 工作负载和内存密集型应用。此次扩展巩固了 Google 的战略转变，即将其自研 AI 芯片定位为面向外部客户的广泛平台。

Google 在其第八代 AI 加速器阵容中新增了两款系统：面向机密计算的 TPU 8tx 和面向内存密集型工作负载的 TPU 8i Max。Google 表示，凭借这些新增产品，它首次在一年内交付了四款 TPU 系统。

两款新变体均基于现有芯片构建。Google 此次并未推出新的芯片世代，而是新的系统配置：围绕同一处理器采用不同的封装、不同的网络和不同的内存设置。该公司将这种模块化方式称为一种刻意的设计选择，使其能够在数月而非数年内交付新的硬件变体。

TPU 8tx 在处理过程中仍保持敏感数据加密

TPU 8tx 面向处理机密数据的企业和政府机构。通常，数据在存储和传输过程中会被加密，但一旦处理器对其进行处理，就必须在内存中解密。

TPU 8tx 旨在填补这一缺口。据 Google 称，即使在使用过程中，数据和模型权重也保持受保护和隔离状态。Nvidia 已通过其机密计算架构为 GPU 提供类似功能。

该系统采用 Google 为实时推理开发的同一低延迟 Boardfly 网络，据称相比 TPU 8t 可将延迟降低多达两倍。Google 表示，企业可以使用单一系统对模型进行微调、将大模型蒸馏为小模型，并通过强化学习训练 AI 智能体，而无需在不同集群之间移动敏感数据。

TPU 8i Max 在同一机架内将算力翻倍

TPU 8i Max 解决的是另一个问题：内存瓶颈。当 AI 智能体同时处理大型代码库或数小时视频时，内存带宽便成为瓶颈。Google 通过在单个封装上放置两颗 TPU 8i 芯片来解决这一问题。

其结果是，在相同机架规格下实现两倍算力、两倍内存和两倍内存带宽，这意味着每平方米数据中心空间的性能显著提升。

Google 降低 TPU 采用门槛

除硬件之外，Google 还在努力让 TPU 更易于使用。该公司已将 TorchTPU 作为开源发布，因此 PyTorch 代码只需极少改动即可在 TPU 上运行。vLLM 和 SGLang 等流行的推理框架也得到支持。

推理市场正在推动定制芯片竞赛

此次扩展是对 Google 战略转变的直接回应：从将 TPU 视为纯内部工具，转变为将其作为面向外部客户的竞争性平台进行推广。该公司目前拥有近 100 家外部 TPU 客户。

更广泛的市场趋势正在推动这一进程。随着 AI 应用的普及，焦点正从昂贵的训练运行转向推理，即模型的日常运行。像 TPU 这样的专用芯片恰好可以在这一领域发挥其优势。这也是 Amazon、Microsoft 和 OpenAI 都在开发自有加速器的原因。

Nvidia 则通过收购聘用和与 Groq 的授权协议，加强了自身的推理产品。