蚂蚁百灵开源 cuLA:用 CUDA 重写线性注意力内核
蚂蚁百灵发布 cuLA(CUDA Linear Attention),一套面向 GLA、KDA、GDN、Lightning Attention 等线性注意力变体的高性能 CUDA 内核库,基于 CuTe DSL 与 CUTLASS C++ 手工优化,适配 Hopper(SM90)和 Blackwell(SM10X)GPU。它以 flash-linear-attention(FLA)v0.4.2 的 Triton 实现为基线做 benchmark,接口层与 FLA 保持一致,开发者只需改一行 import 即可替换。项目完全开源,目前仍处早期阶段,后续计划通过 FLA 的 kernel dispatch 机制统一调度。
实话,团队里大多数人在启动 cuLA 之前几乎没有 CUDA 开发经验。但这并不妨碍我们试一试。从读第一行 CUTLASS 源码,到跑通第一个比 Triton 更快的内核,这个过程充满了乐趣。事实证明,”试一试”本身就是最好的起点。我们希望把这种心态传递出去:如果你也对 GPU 编程感到好奇,哪怕从零开始,cuLA 都欢迎你加入。 更多细节请参考 cuLA GitHub README 。 性能数据 所有 benchmark 均以 flash-linear-attention (FLA) v0.4.2 的 Triton 实现为基线。每组 configs 覆盖了不同 B (batch size)、S (sequence length)、H (head count)、D (head dimension) 的多种组合,以评估不同负载下的加速效果。 这些加速主要来自硬件特性的利用——TMA 异步拷贝、WGMMA/UMMA 指令、多级流水线、warp specialization。 Status & Roadmap General Integrate into flash-linear-atten
匹配字段正文





