AI 热点

RecSA以对数成本将32K训练外推至2M token

UCSD Hao AI Lab更新于 11月19日 09:02

Past its training length, a model meets relative distances it never saw in training, and YaRN or DCA only delay the failure. RecSA sets each entry's RoPE positi

AI 导读

UCSD Hao AI Lab提出RecSA,通过在KV cache上构建树并逐层搜索,使每次查询成本按O(log L)增长,让仅以32K序列训练的模型外推至2M token。基于Qwen3-4B并使用0.62B tokens训练后,RecSA在RULER的131K至2M长度上领先所有基线,1M时得分60.5,最强基线Dense + DCA为40.0。单张H200上,RecSA在524K时将prefill加速3.2×、解码加速3.8×,代码包含Triton和CUDA内核、Qwen3集成及评测工具。

推荐理由

AI 评分 56

该研究把长上下文外推的关键约束落到候选局部位置编码,并以跨长度基准与延迟数据呈现可迁移的设计思路。

主题

标签

正文 · AI 翻译

超过训练长度后,模型会遇到训练期间从未见过的相对距离,而 YaRN 或 DCA 只能延缓失效。RecSA 将每个条目的 RoPE 位置设为它在所属层级候选列表中的索引,并让查询采用最后一个索引。无论上下文多长,所有相对距离都保持在 4K 以下,因此用 32K 长度训练时就已覆盖全部相对距离。在相同训练方式下使用标准 RoPE,模型刚超过 32K 就会失效;使用 YaRN,则会在 524K 前失效。采用候选局部 RoPE 后,模型在 1M 时仍能保留大部分得分。

来源

UCSD Hao AI Lab