Google 推出 TPU 8tx 与 TPU 8i Max 两款新系统

Google 扩展了其第八代张量处理单元（TPU）产品组合，新增 TPU 8tx 和 TPU 8i Max 两款系统，以满足企业部署自主 AI 智能体时的计算需求。

这两款系统面向不同的工作负载。TPU 8tx 专为机密 AI 推理打造，使企业和政府机构能够在模型运行期间处理敏感数据。而 TPU 8i Max 则旨在处理大上下文窗口以及涉及多个 AI 智能体的工作负载。

Google 在一篇博客文章中表示：“随着计算从人类规模转向智能体规模，企业正在寻求能够在 AI 模型海量上下文窗口中执行推理的加速器。”

扩展后的产品组合还包括面向大规模模型训练的 TPU 8t，以及面向低延迟推理的 TPU 8i。

TPU 8tx 针对安全且机密的推理进行了优化，尤其适用于运行专有 AI 模型和自主智能体的受监管企业和政府机构。

该系统与 TPU 8t 使用相同的芯片，并搭配第五代 AMD EPYC CPU 主机。Google 将安全性构建到硬件层，即使数据正在被处理，也能保护数据和模型权重。

通常情况下，数据在存储或通过网络传输时会加密，但在内存中处理时必须解密。TPU 8tx 旨在通过硬件级机密计算来弥补这一缺口。

Google 表示，与 TPU 8t 相比，该系统可将延迟降低至多 2 倍，且性能损失接近于零。

它还允许各机构使用私有数据集微调模型、将较大模型蒸馏为较小模型，并通过强化学习训练 AI 智能体，而无需在独立的计算集群之间移动敏感数据。

第二款系统 TPU 8i Max 解决了多个 AI 智能体在大型软件代码库中协同工作或处理数小时视频时出现的内存带宽限制问题。

Google 将两颗 TPU 8i 芯片封装到单个封装中。由此形成的系统提供两倍于 TPU 8i 的算力、两倍的静态随机存取存储器（SRAM）以及两倍的高带宽内存（HBM）带宽。

该配置旨在防止处理器在大工作负载期间等待数据。

据 Google 称，TPU 8i Max 还能在现有机架空间内装入两倍的芯片，从而提高每平方英尺和每瓦的计算容量。

该公司表示，该系统旨在支持海量上下文窗口，包括涉及百万 token 上下文的工作负载。

除了硬件发布之外，Google 还概述了旨在让其 TPU 更易于被更多开发者使用的软件更新。

上个月，该公司开源了 TorchTPU，使 PyTorch 代码和 Hugging Face 模型能够在其 TPU 基础设施上原生运行，而无需重写代码。

Google 还推出了一个开源 TPU 智能体套件（目前处于预览阶段），该套件可与 Claude Code、Cursor 和 Google Antigravity 等编码工具集成。该套件可以自动化 TPU 入门、识别性能瓶颈，并使用自然语言优化自定义内核。

该公司还宣布了开源 XLA Serving Engine，它允许开发者用 Python 训练模型，并通过 C++ 运行时在 TPU、GPU 和 CPU 上提供服务。

另一项更新 Agent Compute Engine 旨在降低与自主智能体相关的基础设施成本。由于智能体在等待数据库查询、外部工具或人工反馈时可能处于空闲状态，该软件会自动暂停和恢复空闲会话。

Google 还开源了 TPU Sync，这是一个模型状态层，将芯片内存、主机内存、共享存储和数据中心网络整合为统一的内存层级。

该公司表示，该系统可将键值缓存传输延迟和首 token 时间降低 90% 以上。

Google 表示，其 TPU 业务目前拥有近 100 家客户，包括 AI 研究实验室、交易公司、零售商和大学。该公司还致力于让 TPU 可直接部署在客户的数据中心中。