先了解这件事
AI 综述
2026年5月29日,Zyphra Research 与 AWS 合作,在 AWS Neuron 推理栈中实现了 Domino 式张量并行通信重叠。据 Zyphra Research 发布的信息,该工作在 Inferentia2 上针对 Llama 3-8B 进行了不同 NeuronCore 数量的基准测试。测试结果显示,聚合输出吞吐量提升,首 token 时间和每输出 token 时间均下降;在张量并行度更高、集合通信占关键路径更大时,收益最为明显。目前该事件尚无后续发展事实,状态停留在上述实现与基准测试结果。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 在 AWS Inferentia2 上实现 Domino 式推理通信重叠事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月29日
Zyphra Research一手
Zyphra 在 AWS Inferentia2 上实现 Domino 式推理通信重叠
Zyphra Research 与 AWS 合作，在 AWS Neuron 推理栈中实现了 Domino 式张量并行通信重叠，并在 Inferentia2 上对 Llama 3-8B 进行不同 NeuronCore 数量的基准测试。结果显示聚合输出吞吐量提升，首 token 时间和每输出 token 时间均下降，在张量并行度更高、集合通信占关键路径更大时收益最明显。