先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
RecSA 研究提出以对数成本将 32K 训练模型外推至 2M tokens事件进展
1 个已确认进展
- 来源:UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
UCSD Hao AI Lab一手
RecSA 研究提出以对数成本将 32K 训练模型外推至 2M tokens
UCSD Hao AI Lab 的 RecSA 在 KV cache 上构建树形结构,使每次查询成本按 O(log L) 增长,并让仅以 32K 训练的模型外推到 2M tokens。该方法从 Qwen3-4B 初始化、使用 0.62B tokens 训练,在 RULER 的 1M 测试中得分 60.5,强基线 Dense + DCA 为 40.0。在单张 H200 上,其 524K 预填充和解码分别加速 3.2×、3.8×;代码已开源,包含 kernels、Qwen3 集成、RULER 评测和延迟基准:https://t.co/qAFANlalhH
AI 热点