先了解这件事
AI 综述
2026年10月2日,PyTorch团队发布博客,展示使用TLX(Triton Low-level Extensions)在NVIDIA Blackwell(B200)上优化Meta生成式广告模型GEM的Jagged Flash Attention内核。该内核约3.2K行Triton级代码,比约10K行的CuteDSL版FlashAttention-4(FA4)少约3倍;在GEM关注的jagged形状上,前向快约13%、反向快约50%。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：PyTorch Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月2日
PyTorch Blog一手
PyTorch 用 TLX 优化 Jagged Flash Attention：迈向 Blackwell 上的 SOTA FA4
PyTorch 博客展示了用 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell（B200）上优化 Meta 生成式广告模型 GEM 的 Jagged Flash Attention 内核。该内核约 3.2K 行 Triton 级代码，比约 10K 行的 CuteDSL 版 FlashAttention-4（FA4）少约 3 倍，在 GEM 关注的 jagged 形状上前向快约 13%、反向快约 50%。