先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
RecSA以对数查询成本将32K训练外推至2M tokens事件进展
1 个已确认进展
- 来源:UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
UCSD Hao AI Lab一手
RecSA以对数查询成本将32K训练外推至2M tokens
RecSA通过在KV cache上构建树状索引,将每次查询成本控制为O(log L),使仅在32K序列上训练的Qwen3-4B模型外推至2M tokens。该模型使用0.62B tokens训练,在RULER的1M长度上得分60.5,强于Dense + DCA的40.0。在一张H200上,RecSA于524K长度将预填充和解码分别加速3.2×和3.8×;博客:https://t.co/yKpRitz8zw,论文:https://t.co/cWiIZS40Cy,代码:https://t.co/qAFANlalhH。
AI 热点