AI 热点

UCSD Hao AI Lab 提出 RecSA,以对数成本将 32K 训练模型外推至 2M token

UCSD Hao AI Lab更新于 11月19日 09:01

Each node's key comes from a small pooler, about 25K parameters per attention layer. We first distill the pooler level by level from the frozen Qwen3-4B, then f

AI 导读

UCSD Hao AI Lab 提出 RecSA,通过在 KV cache 上构建树并逐层搜索,使单次查询成本按 O(log L) 增长,让仅以 32K 序列训练的模型外推至 2M token。RecSA 基于 Qwen3-4B 初始化并用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度上超过所有基线,1M 时得分 60.5,对比最强基线 Dense + DCA 的 40.0。单张 H200 上,RecSA 在 524K 时将 prefill 加速 3.2×、解码加速 3.8×,项目已开源代码、内核、Qwen3 集成及评测工具。

推荐理由

AI 评分 56

RecSA 展示了仅用 32K 序列训练实现百万 token 外推的路径,并提供长上下文质量与推理效率的对照数据。

主题

标签

正文 · AI 翻译

每个节点的键都来自一个小型池化器,每个注意力层约有 2.5 万个参数。我们首先从冻结的 Qwen3-4B 中逐层蒸馏池化器,随后将其冻结,并仅使用 32K 长度的序列训练模型。每种稀疏方法对每个查询读取的条目数都相同,而 RecSA 在从 131K 到 2M 的每个长度上都位居 RULER 榜首。其领先优势从 131K 时的约 3 分扩大到 1M 时的约 20 分,并在 32K 时与稠密注意力表现相当。

来源

UCSD Hao AI Lab