我们最新的 TPU：8tx 与 8i Max，专为智能体时代打造

2026年11月9日

|

我们扩展了第八代 TPU 产品线，新增 TPU 8tx 和 TPU 8i Max，这意味着我们在一年内推出了四款全新的 TPU 系统。

Amin Vahdat

AI 与基础设施高级副总裁兼首席技术官

 分享
TPU 8tx and TPU 8i Max

我们正在扩展第八代 TPU 产品线，新增用于安全、机密推理的 TPU 8tx，以及用于超大规模上下文窗口的 TPU 8i Max。这些系统通过为安全性、密度和推理提供专用硬件，帮助你管理复杂的智能体工作负载。你可以观看我们的直播，或访问 Google Cloud 网站浏览我们的完整基础设施产品阵容，以进一步了解这些新增产品以及我们最新的软件更新。

摘要由 Google AI 生成。生成式 AI 仍处于实验阶段。
  • 我们正在扩展第八代 TPU 产品线，新增 TPU 8tx 和 TPU 8i Max 系统。
  • TPU 8tx 为敏感数据提供硬件级安全保护，而 TPU 8i Max 则可处理超大规模上下文窗口。
  • 这些系统与 TPU 8t 和 TPU 8i 共同组成产品阵容，为 AI 生命周期的每个阶段提供专用性能。
  • 我们通过支持 PyTorch、开源软件以及面向开发者的自动化工具，让 TPU 更易于获取。
摘要由 Google AI 生成。生成式 AI 仍处于实验阶段。

探索其他样式：

十多年前，我们最初设计 TPU 是出于 Google 的内部需求，包括语音识别和语言翻译。历经八代 TPU 之后，其用例已呈爆发式增长，涵盖：i) 训练和 serving 我们自己的 Gemini 模型；ii) 智能体工作负载；iii) 在我们的云基础设施上为 Google Cloud 客户提供服务；以及最近的 iv) 允许客户将 TPU 直接部署到他们自己的数据中心。TPU 如今是一项快速增长的业务，拥有近 100 家客户——包括前沿实验室、交易公司、零售商、大学等。

在 4 月的 Google Cloud Next 大会上，我们 推出了 同一代中的两款全新专用 TPU——用于大规模训练的 8t 和用于实时推理的 8i。与上一代 TPU 相比，TPU 8t 和 8i 的训练性能分别提升最高 2.7 倍，推理性价比分别提升 80%。

今天，我们在此基础上更进一步，以两款新增系统扩展第八代 TPU 产品线：面向超大规模上下文窗口、具备最高单机架算力密度的 TPU 8i Max，以及面向安全、机密推理的 TPU 8tx。这是我们首次在一年内推出四款 TPU 系统。

我们扩展后的第八代 TPU 产品线：TPU 8t、TPU 8i、TPU 8tx 和 TPU 8i Max。

PU 8t, TPU 8i, TPU 8tx, and TPU 8i Max

虽然我们一直与 Google DeepMind 合作共同设计 TPU，但如今我们越来越多地从外部组织那里获得关于其具体需求的反馈。随着计算从人类规模迈向智能体规模，企业需要能够在 AI 模型的超大规模上下文窗口中执行推理的加速器。此外，一些受高度监管的客户要求为特殊工作负载提供专用加密能力。

我们今天发布的新 TPU 系统正是为了应对这一新现实。结合 我们近期关于 PyTorch 的公告，我们的目标是让每位开发者和云客户都能更轻松地使用 TPU。通过将模块化定制芯片与开放且易用的软件栈相结合，我们能够以 AI 行业的速度交付新的硬件和系统配置。

围绕芯片构建计算机

今天，我们发布两款全新的 TPU 系统——而新芯片与新系统之间存在一个重要区别。

设计一款新芯片意味着要在硅晶圆上布局数十亿个微型晶体管，这一过程历时数年，受物理定律约束，且制造生命周期复杂而漫长。而系统则关乎我们如何将芯片周围的算力、网络和存储整合在一起。这可以包括它们与芯片的封装方式，以便快速满足新兴的客户需求和研究用例。

十多年前，当我们打造第一块 TPU 时，我们就知道 AI 软件的演进速度会远超硅制造的演进速度。因此，我们在系统平衡性和模块化上做出了根本性押注，将 TPU 架构为 AI Hypercomputer的构建模块，使工程师能够围绕它们快速调整封装、高速内存、光网络和安全性。这种方法使我们能够在数月而非数年内交付专用超级计算机。

专为安全、高上下文 AI 而定制

我们第八代 TPU 产品线中的每个系统都针对 AI 生命周期的不同环节。

TPU 8t 和 TPU 8i 奠定了这一代芯片的基线：

  • TPU 8t 旨在成为大规模基础模型的训练利器，实现最大化的“有效算力”（goodput）——即每瓦能耗所交付的有用智能。
  • TPU 8i 是推理引擎，旨在突破内存墙，将芯片间通信延迟最多降低一半。

如今，随着企业将自主智能体投入生产，我们基于这些基础系统打造了两种新配置，以解决两项紧迫的新挑战：硬件级数据安全和百万级 token 上下文规模。

TPU 8tx

TPU 8tx 是我们的第三款第八代系统，针对安全和机密推理进行了优化，也非常适合小规模训练。它专为受监管的企业和政府打造，用于在运行前沿或专有模型及自主智能体的同时处理其最敏感的数据。

通常情况下，数据在存储或通过网络发送时会被加密，但在计算机处理数据时必须在内存中解锁。TPU 8tx 基于与 TPU 8t 相同的芯片构建，并搭配第五代 AMD EPYC CPU 主机，将安全性直接内置于硬件层，即使数据处于活跃使用状态，也能保护并隔离敏感数据和模型权重。此外，通过采用我们为实时推理打造的同一低延迟 Boardfly 网络，TPU 8tx 让多步骤智能体持续运转，相比 TPU 8t 延迟最多降低 2 倍，而性能损失几乎为零。

将训练级算力与快速推理网络相结合，还意味着各组织可以在单一系统上同时运行和定制其模型。TPU 8tx 使团队能够使用私有数据微调模型、将大模型蒸馏为小模型，并通过强化学习训练其智能体，而无需在独立集群之间迁移敏感数据。

TPU 8tx 专为敏感的企业工作负载而设计，为私有微调和安全的智能体执行提供硬件级机密计算。

TPU 8i Max

我们的第四款系统 TPU 8i Max 是为另一个问题而打造的：内存墙。

当数十个 AI 智能体同时在整个软件代码库或数小时视频上协同工作时，内存带宽会迅速成为瓶颈。因此，我们将两颗低延迟 TPU 8i 芯片组合到单个封装中。

TPU 8i Max 让算力和内存同步扩展，提供 TPU 8i 两倍的算力、两倍的 SRAM 和两倍的 HBM 带宽，使处理器始终配备必要的数据，从而让大型工作负载不会停滞。此外，由于 TPU 8i Max 在现有机架空间内集成了两倍的芯片，数据中心每平方英尺和每瓦可部署显著更多的算力。

双芯片 TPU 8i Max 系统，专为超大规模上下文窗口和最高算力密度而设计。

虽然可灵活适应各种工作负载，但第八代 TPU 的四款系统共同为客户提供了针对智能体生命周期每个阶段的专用加速器。TPU 8t 用于扩展训练，TPU 8i 用于低延迟推理，TPU 8tx 用于机密计算，TPU 8i Max 用于超大规模上下文窗口和每机架最高算力密度。

向每一位开发者开放 TPU

十多年前我们推出第一块 TPU 时，只有少数几家公司在运行需要 TPU 处理能力的工作负载。当时的用例非常专门化，因此工程师会使用优化框架和手工调优的代码。

多年来，随着 AI 的进步，越来越多的公司开始使用加速器。如今，AI 的采用已达到一个阶段：TPU 非常适合广泛的公司和用例，因此我们一直在系统地消除采用障碍，让 TPU 像通用硬件一样易于使用。

这项投资如今汇聚在以下几个关键领域：

  • 向每一位 PyTorch 开发者开放 TPU 开发；无需重写代码： 上个月，我们开源了 TorchTPU，因此 PyTorch 代码和 Hugging Face 模型现在可以在 TPU 上原生运行，同时为主流开源推理引擎（如 vLLM 和 SGLang）提供开箱即用的 TPU 后端。为了让硬件优化变得轻松，我们全新的开源 TPU 智能体套件 （现已进入预览阶段）可直接接入 Claude Code、Cursor 和 Google Antigravity 等编码工具，在几分钟内自动完成 TPU 上手、诊断瓶颈，并使用自然语言自动调优自定义内核。对于生产部署，我们全新的开源 XLA 服务引擎 让您可以用 Python 训练模型，并直接在低延迟的 C++ 运行时中跨 TPU、GPU 和 CPU 提供服务。
  • 在 InferenceX 和 AgentX 基准测试中达到业界领先的生产性能：
    在生产环境中，真正重要的是真实 AI 工作负载上的结果，而非理论峰值芯片速度。在测试真实智能体编码和长上下文工作的行业标准 InferenceX 和 AgentX 基准测试中，我们在 TPU 上的原生 vLLM-TorchTPU 软件栈取得了最先进的价格性能比成绩。 新的评估 表明这些优势可扩展到广泛的前沿开放模型和开源服务栈，同时保持高模型准确率。同一硬件上即将推出的软件优化将进一步推动这些结果。
  • 消除自主智能体的空闲算力浪费： 由于 AI 智能体是有状态的，它们经常在等待数据库查询、外部软件工具或人工反馈时暂停数秒甚至数小时。为了让我们的加速器在这些暂停期间更加节能，我们全新的 智能体计算引擎 软件会自动挂起空闲的智能体会话，并在毫秒内将工作内存移出芯片，从而降低运营基础设施成本。
  • 通过模型状态层（TPU Sync）突破内存墙： 围绕芯片构建计算机还意味着在软件中统一内存、存储和网络。当智能体在百万 token 上下文和持续强化学习（RL）循环中进行推理时，内存会迅速成为瓶颈。我们正在开源 TPU Sync，这是面向 TPU 集群的模型状态层。TPU Sync 将芯片 HBM、主机 DRAM、共享存储和数据中心网络转变为单一协同设计的内存层级——在毫秒内自动将海量 KV 缓存分层移出芯片，在分离的预填充和解码节点之间流式传输上下文，并同步 RL 权重，将 KV 传输延迟和首 token 时间（TTFT）降低 90% 以上。
  • 通过单一控制器跨 TPU 扩展分布式工作负载： 如今已在 Google Kubernetes Engine（GKE）上 正式可用 的 Cloud Pathways 将支撑 Gemini 的 Google DeepMind 运行时带给每一位 Google Cloud 客户。借助单控制器架构和 pathwaysutils，你可以像操作一台本地机器一样，跨多个切片编排大规模 TPU 系统，用于预训练、强化学习和多主机推理。Cloud Pathways 通过同址部署的 Python sidecar、亚分钟级切片热切换和弹性重分片，让长时间运行的任务在硬件中断中持续运行。
  • 使用 GKE 动态切片按需拼接自定义 TPU 拓扑： 现已正式可用， GKE 动态切片 利用光路交换（OCS）技术，将物理硬件供应与逻辑切片形成解耦。通过动态地将 TPU cube 组装成更大的拓扑（超级切片），或即时将其划分为更小的隔离工作负载（子切片），此次更新彻底消除了僵化、手动重建节点池的循环。这种拓扑灵活性将作业启动时间最多缩短 5 倍，并将故障恢复速度最多提升 4.5 倍，从而在所有 TPU 上最大化整体集群利用率和有效吞吐量。

以十年经验进行协同设计

在一年内交付四款 TPU 系统以及统一、开放的软件栈，只有在芯片架构师、网络工程师、编译器团队和 Google DeepMind 研究人员并肩协作时才能实现。

我们越来越多地借助 AI 来构思和构建下一代 AI 基础设施。从使用 Google DeepMind 的 AlphaChip 强化学习系统，到使用 Gemini 在数小时而非数周内交付芯片布局，我们正在利用由 TPU 驱动的 AI 服务来快速加速下一代 TPU 硬件的开发。这是真正的协同设计，也是 Google 独有的差异化优势。

观看今天上午 9 点（太平洋时间）的 直播 ，了解更多关于我们全新 TPU 系统的信息。

在您的收件箱中获取 Google 的最新资讯

订阅我们的新闻通讯，获取产品更新、活动信息、特别优惠等更多内容。

完成。只差一步。

请查看您的收件箱以确认订阅。

您也可以使用 . 进行订阅。

您的信息将按照 Google 的隐私政策使用。 您可以随时选择退出。

发布于：