先了解这件事
Google Cloud 于2026年11月9日宣布,其开源 JAX 训练框架 MaxText 在 v0.2.4 中加入长上下文训练支持,在 Cloud TPU 上提供 All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)和 A2A+P2P 混合(USP)四种上下文并行策略,均基于 Tokamax 的 Splash Attention 内核。基准中 Llama 3.1 8B 在 TPU 5p 上、序列长度最高 400 万 token 时达到 70% MFU,TPU 5p 与 TPU 7 均可扩展到 1400 万 token。该功能已随 MaxText v0.2.4 发布在 PyPI、Docker 镜像和 GitHub main 上。
AI 根据公开报道生成
最新进展 · 正式报道
Google Cloud 开源框架 MaxText 支持 TPU 长上下文训练事件进展
1 个已确认进展
- 来源：Google Developers Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月9日
Google Developers Blog一手
Google Cloud 开源框架 MaxText 支持 TPU 长上下文训练
Google Cloud 的开源 JAX 训练框架 MaxText 在 v0.2.4 中加入长上下文训练支持，在 Cloud TPU 上提供 All-gather、A2A（DeepSpeed Ulysses）、P2P（Ring Attention）和 A2A+P2P 混合（USP）四种上下文并行策略，均基于 Tokamax 的 Splash Attention 内核。基准中 Llama 3.1 8B 在 TPU 5p 上、序列长度最高 400 万 token 时达到 70% MFU，TPU 5p 与 TPU 7 均可扩展到 1400 万 token。该功能已随 MaxText v0.2.4 发布在 PyPI、Docker 镜像和 GitHub main 上。