目的
Google 从零开始设计 TPU,使其对机器学习工作负载具有极高的效率,在总拥有成本(TCO)上提供顶级性能。由于 TPU 以宽大的脉动阵列、专用的 SparseCore 引擎和定制互连结构取代了通用硬件调度,因此遵循特定的架构最佳实践对于实现最高性能至关重要。为帮助开发者充分发挥 TPU 的潜力,我们推出了开源指南 AI-Hypercomputer/tpu-codesign 。本文重点介绍其核心原则——涵盖形状对齐、LatentMoE 等架构选择以及并行策略——以加速 LLM、混合专家(MoE)模型及其他硬件密集型工作负载在 TPU 上的运行。
为 Ironwood(TPU v7x)及未来 TPU 代际进行协同设计:训练与推理
性能调优始于模型定义。在首次训练步骤之前做出的架构选择,会为 MFU(模型 FLOP 利用率)、成本和 serving 延迟设定永久上限。本指南为构建或适配 TPU 模型的团队提供具体、基于硬件的设计规则,分为三组:
- 形状规则 (原则 1–2):硬件对齐的维度和静态形状;模型质量风险接近于零。应始终采用。
- 架构选择 (原则 3–7):结构性设计选择;大多涉及质量权衡。需通过消融实验验证。
- 表达并行性 (原则 8):并行、内核和编译器调优;无需更改模型。
如何使用本指南。 形状规则适用于任何设计新模型的人。如果你是在适配现有模型而非设计新模型,则“表达并行性”部分无需改动检查点即可适用。通用规则适用于任何大型矩阵乘法架构(稠密 LLM、多模态和世界模型),配套的 AI-Hypercomputer/tpu-codesign 仓库会随时间不断扩充针对特定模型和工作负载的章节。
第八代 TPU。 这些原则延续至 TPU 8t 和 TPU 8i ,以及新发布的 TPU 8tx 和 TPU 8i Max。推理逻辑保持不变,阈值随硬件变化。TPU 8t 和 TPU 8i 均新增原生 FP4。对于训练,TPU 8t 还带来更均衡的向量处理单元(VPU)扩展。对于 serving,TPU 8i 新增 Boardfly 拓扑、集合通信加速引擎(CAE)以及 3 倍以上的片上 SRAM。我们在原则 5–8 中就地注明了这些影响,后续文章将深入介绍第八代设计。
实测证据。 除已发布的来源外,标记为 实测 的注释包含我们自身 Ironwood 性能分析计划的结果:开放的 20–30B MoE(一个源自 Qwen3-30B 的 LatentMoE 变体;GPT-OSS-20B)加上稠密对照组,单切片(原则 4 中 512 芯片 TPU v7x 和 1,024 芯片 TPU v4 消融除外),BF16,训练形状最高 32K 序列,均与调优后的系统基线对比。请将趋势和排名视为可迁移的,具体百分比视为配置特定的。
基础性能参数(Ironwood / TPU v7x)
TPU 是专为机器学习打造的自定义 ASIC,从零开始设计,旨在在总拥有成本(TCO)上提供最先进的性能。虽然其架构选择——例如宽大的 256×256 脉动阵列、软件管理的 VMEM、专用的 SparseCore 引擎以及直接的多维 ICI 结构——带来了卓越的效率,但它们本质上会产生特定的结构约束和编程模式,必须仔细遵循才能释放最大性能。要达到峰值效率,需要将模型形状、路由和并行性与这些底层硬件特性直接对齐:
并行性缩写:DP = 数据并行,TP = 张量并行,EP = 专家并行,CP = 上下文并行,PP = 流水线并行;FSDP = 完全分片数据并行。
形状规则(始终采用)
1. 将所有归约和输出维度对齐到 256(尤其是 head_dim = 256)
使 d_model、FFN 和专家中间宽度(d_ff)、潜在宽度、注意力投影以及填充后的词表大小(用作收缩或输出维度)均为 256 的倍数,以匹配 256×256 MXU 脉动阵列。Token/批次轴以及头数、层数和专家数等计数不受此限。最常被忽视的维度是 head_dim:在 64 或 128 时,flash-attention 的 QK 乘积会使 MXU 至少 50% 空闲。重塑为 head_dim = 256 ,并按比例减少 Q 和 KV 头数,同时保持总投影宽度和逻辑 KV 缓存字节数不变(在我们的消融实验中质量等同)。
实测: 将 Qwen3-30B MoE 注意力从 32 × 128 重塑为 16 × 256(参数和 FLOPs 完全相同)加快了端到端训练,且收益随上下文变长而扩大:
这些规则同样适用于非二次注意力,特别是 Yang 等人 2025 的 GDN 消融实验也指出,其 Gated DeltaNet Attention 在 head 维度为 256 时质量持平或更好。
2. 静态与动态形状
XLA 会针对精确的张量形状编译每个程序,因此每个缓冲区都有固定地址,每个循环都有已知的迭代次数,而新形状意味着重新编译和主机停顿。那动态形状呢?动态工作负载适合这一模型:诀窍在于将缓冲区的形状与其内部数据的范围分开。
- 分桶与掩码: 在程序层面,将请求填充到一小组预编译的序列长度和批次槽桶(在服务器启动时预热),用掩码替换数据相关分支,并打包训练序列(MaxText 中 packing=True),使填充永远不会到达 MXU。
- 标量预取: 另一种常见的动态形状模式出现在无丢弃 MoE 层中,该层在每一步将不同数量的 token 路由到每个专家;也出现在分页注意力中,它为每个序列分配自己的 KV 长度、自己的一组分散在缓存中的页,并在混合批次中为每个序列分配自己的阶段(预填充或解码)。
我们不为最大组或最长序列做填充,而是将缓冲区保持为固定形状(token 按专家排序且仅在尾部填充,KV 缓存为固定的页池),并用几个小整数数组(组大小和偏移量;KV 长度、页表、累积查询长度)来描述这种不规则结构。Pallas 在网格启动前将这些复制到 TensorCore 的标量内存中(PrefetchScalarGridSpec),内核读取它们以选择下一个 tile 并限定其循环边界,同时用掩码覆盖跨越组边界或部分填充的最后一页的 tile。数据依赖变成了地址和循环次数,而不是形状,因此编译后的程序对每种路由和每种批次组成都相同,内核以未填充的 FLOP 数运行。
架构选择(通过消融实验验证)
3. 用 LatentMoE 压缩路由 token 流量
标准 EP 以完整的 d_model 宽度分发每个路由 token,这使得在我们的 Ironwood 基准测试中 EP + FSDP 比纯 FSDP 更慢。 LatentMoE 将路由 token 从 d_model 压缩到潜在宽度 ℓ (d/ℓ ≈ 2–4×),在分发前执行,在潜在空间中运行专家,并在合并后投影回原空间(由 Nemotron 3 提出,并被 962B 的 MAI-Base-1 和 2.8T 的 Kimi K3):
- 采用)。缩小两个 MoE 瓶颈并重新投入: 在专家宽度为
m = d_ff时,潜在压缩将小批量专家权重读取(∝ d × m)和受吞吐量限制的 all-to-all 分发(∝ K × d)分别削减d/ℓ。将节省的带宽重新投入到更多活跃专家上,同时保持K_new × ℓ ≤ K_old × d_model,在流量不变的情况下提高非线性预算K × m(例如,Nemotron 3 的ℓ = 1024, N = 512, top-22击败d = 4096, N = 128, top-6(在匹配的激活参数和总参数下)。 - TPU 规则: 在压缩前按完整
d_model进行路由;保持 ℓ 为 256 的倍数;以 FP8 进行分发,同时将轻量级上/下投影保持在 BF16;并将 EP 放在一条较短的 3D torus 轴上。
实测: 在一个 30B / 128 专家的 MoE 上, ℓ = 768 (2.67×)LatentMoE 将设备端 permute 时间削减了 2.8×,将端到端训练吞吐量提升了 +14% tokens/s (322 对 270 TFLOP/s/芯片,即 +19%,因为潜在投影使每个 token 的 FLOPs 增加约 5%;token 在下投影之后仍保持 ℓ 宽,因此设备端的 permute 和 combine 会随 EP all-to-all 一起缩小),并且当重计算检查点锚定在压缩后的潜在表示上时,每设备释放了约 25 GB 的激活 HBM。虽然当前 MoE 方案在 tpu-recipes 中运行 FSDP(+ TP),但当每设备批次太小而无法隐藏 FSDP 权重 all-gather 时,LatentMoE + FP8 分发使 EP 在 roofline 上可行。在 FSDP 和 EP 下,都要避免过度碎片化专家:小的 tokens × K / N 组大小会使 MXU tile 得不到充分利用。
4. 在质量中性时优先选择更高的计算强度
当候选 MoE 布局在质量上相当时,选择在相近活跃参数预算下计算强度更高的那个。一个 更大的共享专家 (更宽的 d_shared)将工作转移到密集、无通信的 GEMM 上,这些 GEMM 在训练中与 EP 分发/合并重叠,并在解码批次中摊销权重读取。 更少、更宽的路由专家 (将 N 和 K 减半,同时将 d_ff 在固定稀疏度下翻倍 K/N)使分发流量减半,并使每个专家的 GEMM 填充翻倍。最优(N, K)随模型规模增长,而过度粗化会损害路由多样性。在目标规模下消融专家粒度和共享到路由的划分,而不是照搬 GPU 协同设计的模型,因为 TPU 的最优点更偏向共享。
实测: 在 63B LatentMoE(ℓ = 768, K/N = 1/32,8K 上下文,512 块 TPU v7x 芯片,EP = 128)上,将(N, K)从 (512, 16) 减半至 (256, 8),同时将 d_ff 翻倍,共享专家使训练吞吐量提升 +57% tok/s ,并在 120.8B tokens 上保持更低的损失:
5. 突破解码带宽墙:拓扑横向扩展(5.1)、推测解码(5.2)与并发规模设定
低并发解码流会对每个 token 都读取模型权重(在密集 FP8 中,每个权重分片约需 300 个并发 token 才能达到计算 roofline)。将两个架构杠杆与显式并发规模设定相结合:
- 5.1 低直径横向扩展: 将解码扩展到高连接性、低直径拓扑(例如 TPU 8i 上的 Boardfly)上,可聚合多芯片 HBM 带宽,同时将集合通信延迟保持在足够低的水平,从而在延迟敏感场景中胜过单芯片带宽扩展。TPU 8i 将 Boardfly 与集合通信加速引擎(CAE)配对,后者取代了 Ironwood 的四个 SparseCore,并将片上集合通信延迟最多降低 5 倍。它还将片上 SRAM 提升至三倍,从而将更多 KV 缓存保留在硅片上。 TPU 8i Max 使每个封装的计算、SRAM 和 HBM 带宽翻倍。下面的规模设定规则仍适用于各系统自身的 HBM 数值。
- 5.2 设计时推测解码(MTP): 保留在 BF16 中的多 token 预测(MTP)头可提供更密集的训练信号,并内置一个草稿器,将每次权重读取分摊到多个已验证 token 上(DeepSeek-V3 的接受率为 85–90%; Qwen3-Next; GLM-4.5; Nemotron 3 的基准测试提升 +2.4%,双 token 接受率约 97%)。测量 推测解码 在目标并发度下。
- 根据真实服务并发度和 MoE 批次占用率来确定规模: 每个 token 的解码延迟下限由
per-chip weight bytes ÷ HBM bandwidth(例如,当批次触及所有专家时,Qwen3.5-397B 在 FP8 下跨 4 个芯片每芯片流式读取约 100 GB,在 KV 之前设定了约 13.5 ms 的权重读取下限),而最大批次受限于(remaining HBM) ÷ (allocated KV/state per sequence)对于 MoE,权重流量随 批次所触及的专家并集 (E × [1 - (1 - K/E)^B]在均匀路由下);分析最繁忙 rank 的偏斜情况,并复制热点专家(DeepSeek-V3)在 HBM 允许的情况下。如果实际并发度会很小,就设计更少的活跃字节(更少的活跃参数或更小的模型),而不是围绕你并不会拥有的批大小来做规划。
6. 尽量减少暴露的 VPU 时间
归一化、激活、掩码、路由数学以及量化缩放的应用都在向量处理单元(VPU)上运行,其吞吐量大约比 MXU 低两个数量级,并且与矩阵乘法串行执行,除非 XLA 将其融合进相邻的 GEMM,或者我们将其移出 TensorCore。因此,我们去掉不带来质量收益的 reshape 和 transpose,统一采用可融合的 RMSNorm 和 SwiGLU,使逐元素运算折叠进相邻的 GEMM,并将 MoE 的排序、gather 和 scatter 卸载到 SparseCore。
请注意,融合后的 VPU 工作只有在它的周期数能容纳进它所融合进的 MXU 窗口时才是免费的。块缩放 fp8 GEMM 是这一概念的一个简明示例。
当沿收缩轴的每个块的规模为 B 个元素时,MXU 每个块对每个输出元素发出一个部分和,VPU 对每个部分和重新缩放(约三次向量运算),因此对每个输出元素,MXU 做 2K 次浮点运算,VPU 做 3·ceil(K/B) 次运算。当 B ≥ 1.5 × r_mxu / r_vpu 时,重新缩放被隐藏;在 v7x 上(fp8 峰值 4,614 TFLOPS,对比 19.2 TFLOPS 的向量峰值,比值接近 240),这使阈值接近 340。在 DeepSeek-V3 专家形状上的模拟中,块 512 以每张量时间运行,块 256 受 VPU 限制为 1.2 倍,块 128 为 2.4 倍。实际达到的 MXU 效率低于峰值,这降低了有效比值,并可能使较小的块变得可行;决定的方法是针对每个块测量 GEMM,而不是使用峰值比值。该阈值特定于 Ironwood。 TPU 8t 在设计上专门支持扩展,因此 MXFP4 和 MXFP8 格式的量化没有额外开销。请在那里重新测量块大小阈值,而不是沿用 340。规则本身依然适用:将向量工作隐藏在 matmul 窗口内。
7. 对高精度约束的计算使用多遍 BF16
对于以 BF16 敏感矩阵乘法为主的工作负载(最典型的是长上下文二次注意力,直接使用 FP8 会降低精度),只要硬件低精度 MXU 吞吐量超过原生 BF16 吞吐量的幅度大于遍数,原生单遍 BF16 就会让 MXU 容量闲置。使用 多遍 BF16 算法 通过多次遍历吞吐量更高、精度更低的 MXU 流水线,在不损失数值保真度的情况下执行 BF16 精确的矩阵乘法。随着低精度吞吐量领先于 BF16,这一点变得更加重要。TPU 8t 新增原生 FP4,使 MXU 吞吐量翻倍。在 Ironwood 上,FP8 与 BF16 的比率恰好为 2:1,因此两次或更多次遍历无法胜过原生 BF16。
表达并行性
8. 将并行轴映射到物理链路(D2D → ICI 环面 → DCN)
将通信密集的并行轴分配到最快的物理链路上,并保持逻辑网格因子与环面维度对齐:
- 训练时 TP = 2 为上限(D2D),解码时使用更宽的 TP: 训练时 TP = 4 需要 MLP 大于约 46K 才能隐藏在 ICI 之后;将 TP = 2 映射到双 chiplet。解码受权重读取限制,因此更宽的 TP(在 Qwen3-Coder-480B-A35B 上使用 TP = 8 + EP)可以干净地分片 HBM 读取。
- FSDP 默认,EP 位于一个短环面轴上,DP/PP 跨 DCN: 当每设备的小批量在 pod 内暴露 FSDP 全收集时,通过 roofline 和短时性能分析来验证 pod 内 PP(仅移动阶段激活值)。在第八代系统上,同样的方法适用于新的链路速度和跳数。TPU 8t 保留 3D 环面,ICI 带宽提升 2 倍,DCN 带宽最高提升 4 倍。TPU 8i 上的 Boardfly 使每个芯片在 1,024 芯片的 pod 内处于七跳以内,而同等规模的环面需要 16 跳,因此 EP 分发和其他全对全流量经过的跳数更少。TPU 8tx 采用相同的 Boardfly 网络。
与内核权衡相匹配的最小度数 CP: 全收集 CP 最简单(尽管其全收集可能处于暴露状态),当与锯齿形负载均衡配合使用时(context_parallel_load_balance in MaxText),因此因果掩码不会让尾部 rank 空转; 环形 CP 与集合通信有重叠,但会牺牲 SplashAttention 的分块效率; Ulysses A2A CP 避免了因果偏斜,但会暴露全对全通信,并以头数为上限。
- SparseCore 卸载: 启用 XLA SparseCore 异步集合通信与稀疏收集卸载可将步进时间缩短 15–22% , tpu-recipes 在零模型改动的情况下进行基准测试(用简短性能分析确认收益;SparseCore 也是大型 recsys 风格嵌入表原生引擎)。
综合来看:约 100B 参数的 Ironwood LatentMoE
以质量安全的基础开始每个项目:256 对齐的维度(1)、带无丢弃路由的静态形状(2)、一份映射到物理链路的并行方案(8)、在调优栈上的墙钟消融,以及已发布的参考目标(两者均在下方“衡量真正重要的指标”中)。对于 MoE,在消融后加入 LatentMoE(3),以减少路由/分发流量和解码权重读取。然后按瓶颈情形确定优先级:
- 专家数量多(> 100 位专家): 原则 3、4、6、8(潜在分发压缩、大型共享专家、更宽的
d_ff、SparseCore 卸载、1D 环面 EP)。 - 长上下文(> 64K): 原则 1、7、8(head_dim = 256、多遍 BF16、负载均衡 CP)。
- 多 Pod 规模(> 100B): 原则 8、3、6、5(DCN 上的 DP/PP、经 roofline 校验的 EP、块缩放 FP8、按并发量确定规模的 serving)。
- 延迟与有效吞吐服务: 原则 5、6、8(按并发量确定规模的活跃字节、Boardfly 横向扩展、MTP、块缩放 FP8、更宽的 decode TP)。
参考配置
衡量真正重要的指标:在调优基线之上进行墙钟消融
Google 从零开始将 TPU 设计为定制 ML ASIC,旨在以最优的总拥有成本(TCO)提供顶级性能。要释放这一潜力,需要弥合硬件架构与模型设计之间的差距。通过标准化采用 256 对齐的形状、利用 LatentMoE,并将并行轴直接映射到物理链路,工程团队可以在训练和推理工作负载中最大化 TPU 效率。
参考蓝图的价值取决于用于验证它的闭环。始终在调优后的软件栈上以墙钟时间评估架构变更,而不是纸面 FLOPs:在我们的 Ironwood 基准测试中,纯系统调优(SparseCore 卸载、MXU 对齐的 tile 以及 remat 调优)将一个开放的 30B MoE 从 12% 至 23% MFU 在任何模型变更之前,已发布的 Ironwood 基线显示,256 对齐的 MoE(DeepSeek-V3、Qwen3-235B 在 608–630 BF16 TFLOP/s/芯片)的吞吐量约为未对齐的 GPT-OSS-120B(330 TFLOP/s/芯片)的 2 倍。对于 6 信号 XProf(profiler=xplane)分诊清单、roofline 与 HBM 预算规则, 墙钟消融方法, 已发布的 Ironwood 参考目标,以及随着新的 TPU 代际和内核落地而持续更新的内容,请探索这份持续更新的 诊断指南 以及开源中的配套模式 AI-Hypercomputer/tpu-codesign 仓库。
参考文献
- Cloud TPU 与 JAX 参考资料: AI-Hypercomputer/tpu-codesign (持续更新的指南与配套配置), TPU7x(Ironwood)性能优化, TPU 8t 与 TPU 8i 技术深度解析, 如何扩展你的模型, AI-Hypercomputer/tpu-recipes, AI-Hypercomputer/maxtext, Ironwood playbook 上的 Qwen3.5-397B,以及 TPU Ragged Paged Attention.
- 前沿模型设计论文: NVIDIA Nemotron 3(arXiv:2512.20856), Microsoft MAI-Thinking-1, DeepSeek-V3(arXiv:2412.19437), Kimi K3(arXiv:2607.24653),以及 Gemma 3(arXiv:2503.19786).
- 服务系统与性能分析工具: Sarathi-Serve(arXiv:2403.02310), DistServe(arXiv:2401.09670), 投机解码(arXiv:2211.17192), XProf / TensorBoard 性能分析器, Pallas TPU 流水线化, tune-jax,以及 jax.experimental.roofline.
AI
云
最佳实践
问题解决
智能体是会话,而非请求:为 AI 智能体会话规划 GKE 节点池规模
2026年11月16日
AI
云
教程
案例研究
在 TPU 上解锁稳定的同策略强化学习:训练与推理之间实现按位零差异
2026年11月16日
AI
云
教程
操作指南
保护你的智能体:智能体异常检测实战指南
2026年11月16日