AI 热点

RecSA 研究提出以对数成本将 32K 训练模型外推至 2M tokens

UCSD Hao AI Lab更新于 11月19日 09:01

This project is done by our amazing @skywong265979 @Xinyu2ML @AlexZhang152005, and our advisor @haozhangml. The code is open source, including the kernels, the

AI 导读

UCSD Hao AI Lab 的 RecSA 在 KV cache 上构建树形结构,使每次查询成本按 O(log L) 增长,并让仅以 32K 训练的模型外推到 2M tokens。该方法从 Qwen3-4B 初始化、使用 0.62B tokens 训练,在 RULER 的 1M 测试中得分 60.5,强基线 Dense + DCA 为 40.0。在单张 H200 上,其 524K 预填充和解码分别加速 3.2×、3.8×;代码已开源,包含 kernels、Qwen3 集成、RULER 评测和延迟基准:https://t.co/qAFANlalhH

推荐理由

AI 评分 56

该研究展示了树形 KV cache 如何以对数成本扩展长上下文,并用 RULER 与 H200 延迟数据呈现相对基线的收益。

主题

标签

正文

This project is done by our amazing @skywong265979 @Xinyu2ML @AlexZhang152005, and our advisor @haozhangml. The code is open source, including the kernels, the Qwen3 integration, RULER evaluation and latency benchmarks.

Blog: https://t.co/yKpRitz8zw Paper: https://t.co/cWiIZS40Cy Code: https://t.co/qAFANlalhH

来源

UCSD Hao AI Lab