先了解这件事
AI 综述
2024年8月7日,Zyphra 发布 Tree Attention,一种面向多 GPU Transformer 解码的并行化方法。据 Zyphra Research 介绍,该方法将跨设备归约改为树形模式,复杂度随设备数呈对数而非线性增长,可用少量 Jax 代码配合现有 Jax 与 NCCL 原语实现。在 1M 序列长度下,其解码速度估计比现有 Ring Attention 快 8 倍以上,通信量减少 2 倍或更多。目前该故事尚无后续发展事实,状态停留在发布时的介绍。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月7日
Zyphra Research一手
Zyphra 发布 Tree Attention：面向 GPU 集群长上下文解码的拓扑感知注意力
Zyphra 发布 Tree Attention，一种面向多 GPU Transformer 解码的并行化方法，在 1M 序列长度下解码速度估计比现有 Ring Attention 快 8 倍以上，通信量减少 2 倍或更多。该方法将跨设备归约改为树形模式，复杂度随设备数呈对数而非线性增长，可用少量 Jax 代码配合现有 Jax 与 NCCL 原语实现。