UCSD Hao AI Lab 发布 RecSA,以对数成本实现百万 token 上下文外推
On one H200 with batch size 1, against dense FlashAttention in the same framework:
AI 导读
UCSD Hao AI Lab 提出的 RecSA 在 KV cache 上构建树状结构,使单次查询成本按 O(log L) 增长,并让仅以 32K 序列训练的 Qwen3-4B 外推至 2M tokens。RecSA 使用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度均领先基线,1M 时得分 60.5,最强基线 Dense + DCA 为 40.0。单张 H200 上,RecSA 在 524K 时将预填充加速 3.2×、解码加速 3.8×,代码已开源并包含 Triton、CUDA 内核及评测实现。
正文 · AI 翻译
在同一框架中,单张 H200、批大小为 1 时,与稠密 FlashAttention 相比: • 524K 长度的预填充耗时 80 秒,后者为 257 秒。 • 从 131K 到 524K,解码速度保持在每 token 约 6 毫秒,而稠密注意力则从约 9 毫秒增至 23 毫秒。 • 在 1M 和 2M 长度下,将精确 token 卸载至主机内存后,RecSA 的解码速度分别为每 token 8 毫秒和 11 毫秒;稠密注意力则分别需要 177 毫秒和 2.9 秒。 我们使用 Triton 和 CUDA 编写内核,并且 e
AI 热点