先了解这件事
AI 综述
2026年5月4日,Zyphra提出Tensor and Sequence Parallelism(TSP)并行分片策略,将张量并行(TP)与序列并行(SP)折叠到同一设备轴,使每块GPU同时持有1/D的模型权重和1/D的激活序列,无需D×D二维布局。据Zyphra Research发布的信息,在MI300X集群上,128K tokens时TSP每GPU峰值显存为38.8 GB,低于TP的70.0 GB和TP+SP的85.0 GB/140.0 GB;16K tokens时TSP与TP接近,约为31.0 GB与31.5 GB。该策略的代价是额外的通信开销。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月4日
Zyphra Research一手
Zyphra 提出 TSP：折叠张量与序列并行，降低 Transformer 长上下文训练显存
Zyphra 提出 Tensor and Sequence Parallelism（TSP），把张量并行（TP）与序列并行（SP）折叠到同一设备轴，让每块 GPU 同时持有 1/D 的模型权重和 1/D 的激活序列，无需 D×D 二维布局。在 MI300X 集群上，128K tokens 时 TSP 每 GPU 峰值显存 38.8 GB，低于 TP 的 70.0 GB 和 TP+SP 的 85.0 GB / 140.0 GB；16K tokens 时 TSP 与 TP 接近，约 31.0 GB 与 31.5 GB。代价是额外的通信开销。