RecSA以对数查询成本将32K训练外推至2M tokens
RecSA: Million-Token Extrapolation at Logarithmic Cost 🚀
AI 导读
RecSA通过在KV cache上构建树状索引,将每次查询成本控制为O(log L),使仅在32K序列上训练的Qwen3-4B模型外推至2M tokens。该模型使用0.62B tokens训练,在RULER的1M长度上得分60.5,强于Dense + DCA的40.0。在一张H200上,RecSA于524K长度将预填充和解码分别加速3.2×和3.8×;博客:https://t.co/yKpRitz8zw,论文:https://t.co/cWiIZS40Cy,代码:https://t.co/qAFANlalhH。
正文 · AI 翻译
RecSA:以对数成本实现百万 Token 外推 🚀
RecSA 在 KV cache 上构建一棵树,让每个查询逐层搜索,因此每次查询的成本以 O(log L) 增长,使仅在 32K 上训练的模型能够外推至 2M tokens。
RecSA 以 Qwen3-4B 初始化,使用 0.62B tokens 进行训练,训练序列长度均为 32K。在从 131K 到 2M 的 RULER 测试中,RecSA 的表现优于所有基线;在 1M 长度下得分为 60.5,而最强基线(Dense + DCA)为 40.0。在一张 H200 上,它在 524K 长度下将预填充加速 3.2×,将解码加速 3.8×。
博客:https://t.co/yKpRitz8zw 论文:https://t.co/cWiIZS40Cy 代码:https://t.co/qAFANlalhH
AI 热点