RecSA以对数成本将32K训练外推至2M token
Past its training length, a model meets relative distances it never saw in training, and YaRN or DCA only delay the failure. RecSA sets each entry's RoPE positi
AI 导读
UCSD Hao AI Lab提出RecSA,通过在KV cache上构建树并逐层搜索,使每次查询成本按O(log L)增长,让仅以32K序列训练的模型外推至2M token。基于Qwen3-4B并使用0.62B tokens训练后,RecSA在RULER的131K至2M长度上领先所有基线,1M时得分60.5,最强基线Dense + DCA为40.0。单张H200上,RecSA在524K时将prefill加速3.2×、解码加速3.8×,代码包含Triton和CUDA内核、Qwen3集成及评测工具。
正文 · AI 翻译
超过训练长度后,模型会遇到训练期间从未见过的相对距离,而 YaRN 或 DCA 只能延缓失效。RecSA 将每个条目的 RoPE 位置设为它在所属层级候选列表中的索引,并让查询采用最后一个索引。无论上下文多长,所有相对距离都保持在 4K 以下,因此用 32K 长度训练时就已覆盖全部相对距离。在相同训练方式下使用标准 RoPE,模型刚超过 32K 就会失效;使用 YaRN,则会在 524K 前失效。采用候选局部 RoPE 后,模型在 1M 时仍能保留大部分得分。
AI 热点