AI 热点

热点事件

RecSA以对数查询成本将上下文外推至200万token

1 篇正式报道1 条事件动态更新于 11月19日 03:20

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

RecSA以对数成本将32K训练模型外推至2M tokens

事件进展

1 个已确认进展

  1. RecSA以对数查询成本将上下文外推至200万token

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. UCSD Hao AI Lab一手

    RecSA以对数成本将32K训练模型外推至2M tokens

    UCSD Hao AI Lab提出RecSA,通过在KV cache上构建树并逐层搜索,使单次查询成本按O(log L)增长,并将仅在32K训练的Qwen3-4B外推至2M tokens。RecSA使用0.62B tokens训练,在RULER的131K至2M范围均领先基线,1M时得分60.5,对比最强基线Dense + DCA的40.0。单张H200上,其在524K时将prefill加速3.2×、解码加速3.8×,代码已开源,包含Triton和CUDA内核、Qwen3集成、RULER评测及延迟基准。

关联事件

  1. 相关事件RecSA使32K训练模型外推至2M tokens
  2. 相关事件RecSA实现对数查询成本下的2M tokens外推
  3. 相关事件RecSA在RULER长上下文测试中优于全部基线
  4. 相关事件RecSA以KV缓存树实现对数级查询成本