RecSA以对数成本将32K训练模型外推至2M tokens
Sparse attention such as MoBA and DSA still scores the whole context for every query, so selection gets slower as the context grows. In RecSA, each node of the
AI 导读
UCSD Hao AI Lab提出RecSA,通过在KV cache上构建树并逐层搜索,使单次查询成本按O(log L)增长,并将仅在32K训练的Qwen3-4B外推至2M tokens。RecSA使用0.62B tokens训练,在RULER的131K至2M范围均领先基线,1M时得分60.5,对比最强基线Dense + DCA的40.0。单张H200上,其在524K时将prefill加速3.2×、解码加速3.8×,代码已开源,包含Triton和CUDA内核、Qwen3集成、RULER评测及延迟基准。
正文 · AI 翻译
MoBA和DSA等稀疏注意力方法仍会针对每个查询对整个上下文进行打分,因此随着上下文增长,选择过程会变慢。在RecSA中,树的每个节点有16个子节点。查询从最高层开始,每层最多对4K个候选项进行打分,并从中选择256个向下搜索,因此上下文每增长16倍,树就增加一层:最多64K tokens时为2层,达到2M时为4层。查询未选中的节点不会被丢弃。它们与摘要一样进入同一个softmax,和精确token并列,因此每个查询都能覆盖整个上下文,无需sink或局部窗口。在2M时,一次查询会读取约12K个条目,大约是32K时的两倍。
AI 热点