AI 热点

热点事件

RecSA在RULER长上下文测试中优于全部基线

1 篇正式报道1 条事件动态更新于 11月19日 03:20

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

UCSD Hao AI Lab 提出 RecSA,以对数成本将 32K 训练模型外推至 2M token

事件进展

1 个已确认进展

  1. RecSA在RULER长上下文测试中优于全部基线

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. UCSD Hao AI Lab一手

    UCSD Hao AI Lab 提出 RecSA,以对数成本将 32K 训练模型外推至 2M token

    UCSD Hao AI Lab 提出 RecSA,通过在 KV cache 上构建树并逐层搜索,使单次查询成本按 O(log L) 增长,让仅以 32K 序列训练的模型外推至 2M token。RecSA 基于 Qwen3-4B 初始化并用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度上超过所有基线,1M 时得分 60.5,对比最强基线 Dense + DCA 的 40.0。单张 H200 上,RecSA 在 524K 时将 prefill 加速 3.2×、解码加速 3.8×,项目已开源代码、内核、Qwen3 集成及评测工具。

关联事件

  1. 相关事件RecSA实现对数查询成本下的2M tokens外推
  2. 相关事件RecSA以KV缓存树实现对数级查询成本
  3. 相关事件RecSA以对数查询成本将上下文外推至200万token
  4. 相关事件RecSA在超长上下文RULER评测中优于所有基线