AI 热点

热点事件

RecSA以KV缓存树实现对数级查询成本

1 篇正式报道1 条事件动态更新于 11月19日 03:20

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

UCSD Hao AI Lab 发布 RecSA,以对数成本实现百万 token 上下文外推

事件进展

1 个已确认进展

  1. RecSA以KV缓存树实现对数级查询成本

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. UCSD Hao AI Lab一手

    UCSD Hao AI Lab 发布 RecSA,以对数成本实现百万 token 上下文外推

    UCSD Hao AI Lab 提出的 RecSA 在 KV cache 上构建树状结构,使单次查询成本按 O(log L) 增长,并让仅以 32K 序列训练的 Qwen3-4B 外推至 2M tokens。RecSA 使用 0.62B tokens 训练,在 RULER 的 131K 至 2M 长度均领先基线,1M 时得分 60.5,最强基线 Dense + DCA 为 40.0。单张 H200 上,RecSA 在 524K 时将预填充加速 3.2×、解码加速 3.8×,代码已开源并包含 Triton、CUDA 内核及评测实现。

关联事件

  1. 相关事件RecSA在RULER长上下文测试中优于全部基线
  2. 相关事件RecSA在超长上下文RULER评测中优于所有基线
  3. 相关事件RecSA实现对数查询成本下的2M tokens外推
  4. 相关事件RecSA以对数查询成本将上下文外推至200万token