UCSD Hao AI Lab 提出 RecSA,以对数成本将 32K 训练模型外推至 2M token
Each node's key comes from a small pooler, about 25K parameters per attention layer. We first distill the pooler level by level from the frozen Qwen3-4B, then f
AI 导读
UCSD Hao AI Lab 提出 RecSA,通过在 KV cache 上构建树并逐层搜索,使单次查询成本按 O(log L) 增长,让仅以 32K 序列训练的模型外推至 2M token。RecSA 基于 Qwen3-4B 初始化并用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度上超过所有基线,1M 时得分 60.5,对比最强基线 Dense + DCA 的 40.0。单张 H200 上,RecSA 在 524K 时将 prefill 加速 3.2×、解码加速 3.8×,项目已开源代码、内核、Qwen3 集成及评测工具。
正文 · AI 翻译
每个节点的键都来自一个小型池化器,每个注意力层约有 2.5 万个参数。我们首先从冻结的 Qwen3-4B 中逐层蒸馏池化器,随后将其冻结,并仅使用 32K 长度的序列训练模型。每种稀疏方法对每个查询读取的条目数都相同,而 RecSA 在从 131K 到 2M 的每个长度上都位居 RULER 榜首。其领先优势从 131K 时的约 3 分扩大到 1M 时的约 20 分,并在 32K 时与稠密注意力表现相当。
AI 热点