先了解这件事
AI 综述
2024年12月10日,Zyphra 展示其为 AMD Instinct MI300X 编写并优化的反向内核,称这是首个在 transformers(Flash Attention v2)和混合模型(Mamba2)上超越 NVIDIA H100 的反向内核。据 Zyphra Research 发布的信息,FA2 反向内核在 2k、4k、8k 序列长度上分别比 H100 快 1%、2%、4%,使稠密/MoE Transformer 等注意力模型可在 MI300X 上高效训练并达到高 MFU。目前该事实仅有这一条第一方证据,尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
12月10日
Zyphra Research一手
Zyphra 在 AMD MI300X 上为 Transformer（FA2）与 SSM（Mamba2）实现前沿训练内核
Zyphra 为 AMD Instinct MI300X 编写并优化了 Flash Attention v2 与 Mamba2 的反向内核，使其在训练场景下首次超越 NVIDIA H100。FA2 反向内核在 2k、4k、8k 序列长度上分别比 H100 快 1%、2%、4%，从而让稠密/MoE Transformer 等注意力模型可在 MI300X 上高效训练并达到高 MFU。