Google 推出 TPU 8tx 与 TPU 8i Max,前者搭配 AMD EPYC Turin 主机
Google TPU 8tx Pairs AMD EPYC Turin Hosts with Confidential Computing while TPU 8i Max Doubles Memory Bandwidth - ServeTheHome
Google 在第八代 TPU 中新增 TPU 8tx 和 TPU 8i Max 两款系统配置。TPU 8tx 沿用 TPU 8t 芯片,搭配第五代 AMD EPYC Turin 主机 CPU,通过机密计算保护使用中的数据,并采用 Boardfly 拓扑,Google 称其延迟比 TPU 8t 低至多 2 倍。TPU 8i Max 将两颗 TPU 8i 封装在一起,HBM 带宽翻倍至 17.2TB/s,片上 SRAM 翻倍至 768MB,HBM 容量为 384GB。
推荐理由
AI 评分 54
原文梳理了 Google 第八代 TPU 两款新配置的硬件取舍,读者可据此理解机密计算与大上下文推理在系统层面的差异。
主题
正文 · AI 翻译
首页 服务器 加速器 Google TPU 8tx 将 AMD EPYC Turin 主机与机密计算搭配,同时……
服务器
加速器
FacebookXPinterestLinkedinReddItEmailPrintCopy URL
google tpu 8tx 板卡示意图
Google 正在扩展其第八代 TPU 产品组合,新增 TPU 8tx 和 TPU 8i Max 两款产品。这标志着 Google 首次在一年内推出四种不同的系统配置,不过这并不是四款全新的芯片设计。8tx 基于现有芯片构建,面向机密计算,这对 AMD 来说是一次显著胜利;而 8i Max 则将两颗 8i 芯片封装在一起,以应对超大上下文窗口。
Google TPU 8x
当我们在 Hot Chips 2026 上报道 TPU v8 系列时,我们重点介绍了 Google 如何针对不同工作负载专门优化网络。面向推理的 TPU 8i 采用 Boardfly 拓扑,最大网络跳数直径为七,而面向训练的 torus 设计则为十六跳。这种结构差异降低了实时推理的延迟,有助于解释为什么 Google 持续定制互连,而不是依赖单一网络架构。
TPU 8tx 是该代的第三款系统,面向在敏感数据旁运行前沿或专有模型的受监管企业和政府机构。它使用与面向训练的 TPU 8t 相同的芯片,但 Google 将其与定制的第五代 AMD EPYC“Turin”主机搭配,将安全性直接构建到硬件层。通常,数据在静态存储和传输过程中会被加密,但在计算机处理数据时必须在内存中解密。8tx 通过机密计算保护这些使用中的数据,在隔离的可信执行环境中对使用中的数据进行加密。
以下是 Google 提供的 TPU 8tx 板卡渲染图。图中展示了四颗带有散热器的加速器芯片以及沿一侧边缘排列的连接端口,让人可以大致了解将这些加速器与其 Turin 主机 CPU 搭配的托盘布局。
google tpu 8tx 板卡示意图
对于 8tx 的主机 CPU,Google 选择了第五代 AMD EPYC Turin,以匹配 TPU 8t 的 PCIe Gen5 x16 接口。双路 Turin 配置提供 128 条 Gen5 通道,确保四颗 TPU 和高速网卡之间不会出现 I/O 超额订阅。Google 指出,像 AMD EPYC Venice 这样的 Gen6 主机(请继续关注更多相关信息)会降速至 Gen5 速度,且不会增加加速器带宽,这与其 2027 年的硬件认证计划一致。
8tx 还采用了来自面向推理的 TPU 8i 的 Boardfly 网络,而不是训练优化的 torus。该拓扑减少了芯片之间的最大跳数,这对于需要多次顺序推理调用的多步智能体非常重要。Google 声称,与 TPU 8t 相比,其延迟最多可降低 2 倍,而性能损失几乎为零。
第四款系统 TPU 8i Max 从另一个角度攻克内存墙。当许多智能体同时处理整个代码库或数小时视频时,内存带宽会在计算之前成为瓶颈。Google 将两颗低延迟 TPU 8i 芯片组合到单个多芯片封装中。
这使得 8i Max 的计算能力、SRAM 和 HBM 带宽均为单颗 TPU 8i 的两倍。具体而言,它提供 384 GB 高带宽内存,比 TPU 8i 多约三分之一,同时 HBM 带宽翻倍至 17.2TB/s,片上 SRAM 翻倍至 768 MB。TPU 8i Max 将 HBM 带宽翻倍至 17.2 TB/s,片上 SRAM 翻倍至 768 MB,直接解决了制约大上下文智能体工作负载的内存墙问题。
Google TPU 8 硬件规格对比图
我们询问了 Google,Google 告诉我们,如果数据必须保留在机密计算域内,用户应坚持使用 TPU 8tx 进行推理和服务。该系统保留了针对实时任务优化的相同低延迟 Boardfly 拓扑。
结语
这里的关键信息大概是,Google 正在针对 AI 栈的不同部分,甚至不同客户,定制其 TPU 产品。TPU 8tx 似乎更像是面向机密计算的定制产品,而 TPU 8i Max 则专为推理设计。对 AMD 来说,这大概不会在一夜之间带来 10% 的服务器 CPU 市场份额增长。相反,这是一次重大胜利,因为 AMD 不仅在非 AMD 加速器系统中赢得了 EPYC 的胜利,还通过在一家主要超大规模厂商赢得插槽,展示了其机密计算实力。
相关文章更多来自作者
/.td-container