AI 热点

UCSD Hao AI Lab 发布 RecSA,以对数成本实现百万 token 上下文外推

UCSD Hao AI Lab更新于 11月19日 09:02

On one H200 with batch size 1, against dense FlashAttention in the same framework:

AI 导读

UCSD Hao AI Lab 提出的 RecSA 在 KV cache 上构建树状结构,使单次查询成本按 O(log L) 增长,并让仅以 32K 序列训练的 Qwen3-4B 外推至 2M tokens。RecSA 使用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度均领先基线,1M 时得分 60.5,最强基线 Dense + DCA 为 40.0。单张 H200 上,RecSA 在 524K 时将预填充加速 3.2×、解码加速 3.8×,代码已开源并包含 Triton、CUDA 内核及评测实现。

推荐理由

AI 评分 57

RecSA 展示了树状 KV cache 如何将长上下文查询成本降至对数级,并兼顾外推表现与推理延迟。

主题

标签

正文 · AI 翻译

在同一框架中,单张 H200、批大小为 1 时,与稠密 FlashAttention 相比: • 524K 长度的预填充耗时 80 秒,后者为 257 秒。 • 从 131K 到 524K,解码速度保持在每 token 约 6 毫秒,而稠密注意力则从约 9 毫秒增至 23 毫秒。 • 在 1M 和 2M 长度下,将精确 token 卸载至主机内存后,RecSA 的解码速度分别为每 token 8 毫秒和 11 毫秒;稠密注意力则分别需要 177 毫秒和 2.9 秒。 我们使用 Triton 和 CUDA 编写内核,并且 e

来源

UCSD Hao AI Lab