清华与港中文开源 AKV：面向 LLM 智能体的 KV cache 工程服务系统

在 Google 上添加为首选来源

清华大学与香港中文大学的研究人员开源了 AKV，这是一个面向 LLM 智能体 KV cache 工程的服务系统。智能体不再摘要旧历史，而是丢弃选定的 KV cache 条目并继续复用其余部分。在 3 个模型和 4 个智能体基准上，平均成本下降 27.7%，平均任务得分提升 1.7 分。代码以 Apache-2.0 许可发布，基于 SGLang 构建。

TL;DR

它是什么：服务系统加策略库，不含权重。已在 GPT-OSS-120B（激活 5.1B）、MiniMax-M2.7（总参数 230B，激活 10B）和 MiroThinker-1.7-Mini（总参数 30B，激活 3B）上测试。

运行环境：通过 SGLang 在 NVIDIA GPU 上运行。论文使用 8 块 A800-80GB GPU，BF16 精度。快速开始可在 2 块 GPU 上服务 GPT-OSS-120B（张量并行 2）。

性能：相比阈值摘要，平均成本降低 27.7%，平均得分提升 1.7 分。

最佳：GPT-OSS-120B 在 SWE-bench Verified 上：每任务成本从 20.0 美分降至 9.7 美分，得分从 40.0 升至 43.2。

最差：MiniMax-M2.7 在 BrowseComp-Plus 上得分为 58.9，比 Text Engineering 的 62.3 低 3.4 分。

什么是 cache 工程，它与上下文工程有何不同？

AKV 是清华大学的服务系统，让 LLM 智能体丢弃并重新定位自己的 KV cache。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

上下文工程会裁剪或摘要文本历史。编辑该前缀会使后续所有 KV 状态失效，保留的后缀必须重新预填充。因此，执行框架倾向于较晚且激进地摘要，这可能丢失中间轮次的细节。

Cache 工程保持文本轨迹不变，只改变哪些 KV 条目对注意力保持可见。保留的条目无需重新计算即可复用，它们仍可携带来自已丢弃消息的信息。在论文的成本分析中，KV cache 读取占总 API 成本的 82.4%。

AKV 如何工作？

AKV 定义了 3 种 cache 操作。Append 是新 token 的标准更新。Drop 从未来注意力中移除选定条目，但不改变位置。Repos 使用 RoPE 旋转将保留的键重写到位置 0 到 r-1。值保持不变，因此不重新计算隐藏状态。在消融实验中，加入 Repos 将 GPT-OSS-120B 在 BrowseComp-Plus 上的通过率从 55% 提升到 62%。

难点在于服务。相同的 token 在不同操作历史下可能产生不同的 cache 状态。普通前缀匹配可能复用错误的状态。AKV 扩展了 SGLang 的基数树，加入 drop 和 reposition 节点。仅当没有活跃请求仍需要时，才释放被丢弃的 KV。分段批注意力在 1 次预填充中恢复被逐出的状态。

AKV API 是什么样的？

接口是无状态且兼容 OpenAI 的。客户端发送完整消息历史和两个可选字段。drop_message 将触发消息索引映射到要丢弃的消息。reposition 列出位置被压缩之后的索引。

CachePolicy 根据触发器、选择器和重定位规则构建这些字段。内置策略基于轮次、token 或模型。CacheTool 让模型自行调用 drop_context。

AKV 在智能体基准上表现如何？

主策略是工具响应滚动丢弃，保留最新的 12 条工具响应。Standard 基线在 96K token 时摘要（MiroThinker 为 192K）。Text Engineering 在 48K 时摘要。基准为 BrowseComp-Plus、GAIA-Text、SWE-bench Verified 和 xbench-DeepSearch-2510。

模型Standard 得分 / 成本Text Eng. 得分 / 成本AKV 得分 / 成本

MiniMax-M2.752.4 / 5.052.8 / 5.753.7 / 4.4

GPT-OSS-120B51.0 / 11.248.3 / 10.253.1 / 7.3

MiroThinker-1.7-Mini44.1 / 20.437.1 / 18.145.8 / 14.8

4 个基准上的平均通过率（%）和成本（每任务美分）。来源：论文表 1。

AKV 相比 Text Engineering 还将成本降低 21.9%。准确率差距在长运行中显现。在 BrowseComp-Plus 上 96K token 及以上时，GPT-OSS-120B 使用 AKV 得分为 37%。根据项目页面，Standard 为 24%，Text Engineering 为 32%。

成本是根据已发布费率估算的 API 等效值。重定位的 token 按 cache 命中费率计费，这是刻意保守的选择。

AKV 在服务基准上有多快？

服务测试在 80 个长上下文 SWE-bench Verified 任务上运行 GPT-OSS-120B。在每种方法的峰值设置下，AKV 的输出吞吐量为 1.18 倍，输入吞吐量为 1.53 倍。P95 请求延迟快 1.51 倍。

在并发 16 时，Standard 的 P95 延迟达到 229.90 秒，而 AKV 为 30.63 秒。KV 压力迫使 Standard 反复重新预填充。每个解码步骤中，全注意力时间从 7.082 毫秒降至 2.849 毫秒。

在 GPU 预算下对 100 个 SWE-bench Verified 任务，AKV 达到约 47% 的通过率。Standard 为 40.7%，Text Engineering 为 32.3%。

智能体能自行调整 cache 策略吗？

MiniMax-M2.7 在 20 个 BrowseComp-Plus 任务上改进了策略，随后运行了 100 个留出任务。第 6 次迭代的策略在基线准确率下将成本较 Standard 降低了 17.8%。摘要报告称，相比专家设计的策略还额外节省了 7.1%。

将缓存控制作为工具暴露出来也有助于提升准确率。GPT-OSS-120B 在 100 个任务的子集上从 52.1 升至 61.0。不过，MiniMax-M2.7 的成本从 5.4 美分升至 5.9 美分。

AKV 与其他 KV cache 方法对比

指标AKV阈值摘要SGLang RadixAttentionStreamingLLMSnapKV

作用对象KV cache，由智能体主导文本历史KV cache，前缀复用KV cache，固定窗口提示 KV cache

丢弃内容由策略或模型工具调用选择超过 token 阈值的旧历史不丢弃，共享前缀被复用中间 token；保留 sinks 和近期 token低注意力提示位置

缩减后重新预填充否是，保留后缀不适用无需刷新缓存不适用

目标工作负载多轮工具调用智能体智能体运行框架通用与智能体服务流式对话长提示

报告的主要数据-27.7% 成本，+1.7 分AKV 论文中的基线最高 6.4 倍吞吐量相比滑动窗口重算最高 22.2 倍16K 时生成快 3.6 倍

是否需要微调否否否否否

许可证Apache-2.0取决于运行框架Apache-2.0MITApache-2.0

主要数据来自各项目自己的论文，且使用不同的设置。它们不能直接比较。

关键要点

AKV 让智能体丢弃并重新定位 KV cache，而不是重写历史。

在 3 个模型上，平均成本下降 27.7%，得分提升 1.7 分。

Repos 将 GPT-OSS-120B 在 BrowseComp-Plus 上从 55% 提升至 62%。

在并发 16 时，P95 延迟从 229.90 秒降至 30.63 秒。

目前仅支持 Qwen、GPT-OSS 和 MiniMax-M2 文本模型。

Asif Razzaq网站 | + 文章简介 ⮌

Asif RazzaqNanbeige 发布 Nanbeige4.3-33B，一个 33B 开源智能体编码模型

Asif Razzaq来自斯坦福和加州大学伯克利分校的研究人员推出 TokenGate：Token 门控注意力使长上下文预填充最高快 11.3 倍

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

清华与港中文开源 AKV：面向 LLM 智能体的 KV cache 工程服务系统

推荐理由

主题

标签

正文 · AI 翻译