AI News

微软研究院等提出 TokenEconomizer:让编码智能体从历史会话中学习以降低 token 成本

Microsoft Research更新于 11月17日 01:47

TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient - Microsoft Research

AI 导读

微软研究院联合 UC Berkeley 和 Microsoft Security 提出开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不改动智能体和底层模型的前提下降低后续会话的 token 开销。在 277 个 SWE-Bench 任务、五种智能体与模型组合上,平均成本降低 18.4–30.9%,30 个仓库与组合配对全部省钱且任务成功率总体稳定;Web-Bench 顺序开发任务成本降低 16.0–21.2%,安全审计任务降低 6.4–19.6%。机制包括记录仓库专属知识的微技能、裁剪不常用工具,以及在智能体反复卡住时由裁判模型介入提示换思路。

推荐理由

精选AI 评分 67

论文给出跨 277 个 SWE-Bench 任务、五种智能体组合的实测降本区间,可据此判断经验复用对编码智能体成本的实际作用。

主题

标签

正文 · AI 翻译

概览

开发者日复一日地在同一批代码库中使用 AI 编码智能体,但智能体往往每次会话都从零开始:重新发现熟悉的事实、加载用不到的工具、重复不成功的做法。

TokenEconomizer 是一个开源插件,它从智能体在某个仓库中的历史会话中学习,以减少未来会话中的浪费,且无需修改智能体或其底层模型。

在 277 个真实缺陷修复任务中,TokenEconomizer 在多个 AI 编码智能体上将成本降低了 18.4–30.9%。所有测试仓库的成本均下降,而任务成功率总体保持稳定。

AI 编码智能体正越来越多地帮助开发者基本自主地修复缺陷和构建功能,但每次与其模型交互都会消耗 token。在每次会话中,智能体都会向模型发送指令、工具描述和会话历史。大多数降低这一成本的努力都聚焦于单个任务。然而开发者会反复回到同一批仓库,这给了智能体从以往工作中学习的机会。若没有这种学习,智能体可能会反复重新发现如何运行测试、加载它从不使用的工具,或花费数十轮反复处理同一个错误。

在我们的论文《TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents》中,我们提出一个简单的问题:在某个仓库中的经验能否帮助智能体更高效地解决未来任务?TokenEconomizer 是来自 UC Berkeley、微软研究院和 Microsoft Security 的开源插件,它将已完成的会话转化为对后续会话的指导。它在不改变智能体或其底层模型的情况下减少浪费,因此开发者可以将其与已经依赖的编码智能体配合使用。

图 1. 每个完成的会话都会让 TokenEconomizer 学到一些关于该仓库的信息,从而使后续会话消耗更少的 token。

token 都花在哪里

我们首先在 SWE-Bench 的 60 个任务上对 Claude Code 进行了剖析,SWE-Bench 是一个由开源 Python 项目中的真实缺陷修复构成的基准,我们按顺序运行每个仓库的任务。有三类浪费反复出现:

重新发现相同的事实。当一个仓库累计完成至少五个任务后,30% 的工具调用重复了该仓库中较早任务的动作。只有 7% 与另一个仓库历史中的动作相匹配。

为未使用的工具付费。智能体在每一轮都会收到 23 个工具描述,但其中 16 个从未被调用。

卡在失败上。失败的那 17% 的任务占了总支出的 32%。

我们还测试了三个流行的开源插件,每个都围绕一种固定的节省成本策略构建。每个插件都在某些仓库中降低了成本,但在另一些仓库中则没有。综合来看,这些发现表明,有效的成本控制必须适应仓库,而不是在所有地方套用同一策略。

OptiMind:当系统触及底线

在中西部一家装瓶厂进行的为期三个月的试点展示了当 AI 超越聊天、进入决策领域时会发生什么——在那里约束条件不断变化、风险真实存在,而且答案必须站得住脚。

每次会话结束后,TokenEconomizer 会读取该会话的日志,并更新它对仓库的了解。随后它通过三种机制发挥作用,仅使用智能体已经提供的接口,如图 2 所示。

微技能以单行笔记的形式捕获仓库专属知识。TokenEconomizer 识别跨会话反复出现的模式,并提出相应的笔记。只有在多个会话确认该模式后,这些笔记才会被加入智能体的起始上下文;如果后续证据与之矛盾,则会停用该笔记。

工具裁剪会移除仓库历史表明智能体不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。被移除的工具如有需要可以恢复。

失败循环干预会监视不断遭遇同一失败的智能体。一个裁判模型会判断智能体是真的卡住了,还是仍在取得进展。如果它卡住了,智能体会收到一条简短提示,建议换一种方法。在开源插件中,如果智能体在收到提示后仍然卡住,TokenEconomizer 会提醒开发者,而不是自行停止工作。

图 2. TokenEconomizer 与未作改动的编码智能体协同工作。微技能添加学得的事实,工具裁剪精简加载的工具,失败循环干预为卡住的工作重新指明方向。每个完成的会话都会更新这三者。

该控制器被设计为随着新证据的出现而修正其决策。报告的节省额也已计入 TokenEconomizer 自身模型调用的成本。

在每个仓库中节省成本

我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI 编码智能体与模型组合。对于每个仓库,TokenEconomizer 都从没有先前会话历史开始。

如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并在全部 30 个仓库与组合配对中节省最多,且没有性能损失。相比之下,降低模型的推理强度虽然节省了相近或更多的成本,却导致了显著的性能下降。

图 3. 在 SWE-Bench 上,TokenEconomizer 在五种智能体–模型组合中将每个任务的平均成本降低了 18.4–30.9%(左),同时其中四种组合的 Pass@1 有所上升(右)。

随着经验积累,节省的成本也会增加。早期任务在 TokenEconomizer 学习期间可能花费更多,但到第六个任务时,每个仓库的累计成本都已低于默认水平,如图 4 所示。每种机制都能单独带来节省,而三者结合则能实现最大幅度的成本降低。

图 4. 使用 Claude Code 时,各仓库任务中相对于默认设置的累计成本变化。从没有历史记录开始,每个仓库到第六个任务时都变得更便宜。

这些节省同样延续到了顺序式 Web 开发中,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计中,每个任务都位于新的仓库,成本降低了 6.4–19.6%。

展望未来

TokenEconomizer 为编码智能体开辟了一条新路径:它们不仅能学会如何解决任务,还能学会如何更有效地使用计算资源。其轻量级控制器展示了经验如何在不改变底层智能体或模型的情况下提升效率。

这个开源插件让开发者和研究人员能够接触这些方向。它的设计目标是与现有 AI 编码智能体并行运行,而无需修改其底层模型;它本身不需要 API 密钥,并将所学内容保留在开发者自己的机器上。我们邀请社区将其作为一个起点,探索能够随着经验积累而变得更加足智多谋的智能体,既调整它们的工作方式,也调整它们所掌握的知识。

阅读论文 访问代码 查看项目

在新标签页中打开

相关出版物

加州大学伯克利分校

了解更多

Michel Galley

高级首席研究经理

了解更多

Jianfeng Gao

技术院士兼企业副总裁

编程语言与软件工程

相关实验室

微软研究院雷德蒙德

来源

Microsoft Research