ALTK-Evolve 用学习型记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售榜

学习型记忆让搭载GPT-4.1的基础ReAct智能体登顶

使用GPT-4.1这一较旧的非推理模型，一个基础客服智能体在τ²-bench零售任务上达到67.5%的Pass^4——这意味着对于67.5%的任务，它在全部四次独立尝试中均成功解决。其得分高于我们2026年10月12日榜单快照中的所有零售条目。它运行在基准自带的ReAct脚手架上，仅在其系统提示词后追加了学习到的准则。

ALTK-Evolve使用GPT-4.1构建该行为手册。它分析智能体在训练任务上的尝试，并利用该模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后这些准则被添加到智能体的提示词中，用于后续对话。同一个模型既驱动准则提取又充当智能体；无需权重更新或人工标注。

我们此前的工作已在编程智能体上展示了这一方法。在这里，我们在客户服务场景中对其进行测试，该场景的成功需要遵循领域政策、理解客户请求并执行正确的工具操作。

τ²-bench测试受政策约束的客户服务

τ²-bench（来自Sierra）衡量智能体在真实约束下处理客户服务对话的能力。每个任务将智能体与一个由LLM模拟的客户配对，该客户有既定目标，配有一组领域工具（查询订单、发放退款、改签航班）以及智能体必须遵循的书面政策文档。智能体必须引出正确的细节、遵守政策并采取正确的——往往不可逆的——操作；只有当最终数据库状态与预期结果匹配时，任务才算解决，这是严格的二元奖励。我们使用其两个客户服务领域：零售和航空。

我们运行τ²-bench自带的基础ReAct智能体实现，采用两阶段THINK → ACT循环，使用gpt-4.1作为智能体模型、gpt-5.5作为客户模拟器模型；每个任务4次试验。我们唯一的改动是在系统提示词后追加一段学习到的准则——其他一切（政策、工具、脚手架）均为τ²-bench原版。具体而言，学习到的准则以纯Markdown列表形式附加在领域政策之后：

我们使用gpt-4.1（与驱动智能体相同的模型）从智能体在τ²-bench训练任务上的轨迹中提取准则，然后将其原样应用于留出的测试集。

准则提升能力与可靠性

在此前的一篇文章中，我们讨论了不同模型/任务需要不同剂量的指导。与这一理念一致，我们还评估了提供给模型的不同数量的准则。

每条准则带有一个支持计数——即它被提取自的不同训练任务的数量，因此支持度越高意味着该规则在更多任务上具有泛化性，而非一次性规则。我们比较三种配置：基线（无准则）、sup3（仅保留支持度≥3的准则——一个小型、高置信度的核心集）和无损（保留合并后留存的所有准则，即支持度≥1）。

表1. 各领域的准则配置及保留准则数量。

我们跟踪的指标。每个任务尝试4次，我们以两种方式解读这些试验：

平均准确率——4次试验的平均成功率。这是能力轴：智能体做对的频率有多高？

Pass^4——在全部4次试验中均通过的任务百分比。这衡量可靠性轴，也是τ²-bench榜单报告的指标。它在此很重要，因为一个四次中有三次解决退款的客服智能体仍会让四分之一的真实客户失望——Pass^4问的是你能否每次都信任该智能体，而不仅仅是平均而言。

图1. 使用gpt-4.1的智能体在留出的零售和航空任务上、每个任务四次试验的平均准确率和Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表2. 使用gpt-4.1的智能体在留出任务上、每个任务四次试验的性能。括号内为相对基线的百分点变化。

平均准确率在两个领域均上升——零售+4.4个百分点（78.1 → 82.5），航空+7.5个百分点（57.5 → 65.0）。可靠性提升更大：严格的Pass^4在零售上升+10个百分点（57.5 → 67.5），在航空上升+10个百分点（35.0 → 45.0）。而且这些增益来自更明智的决策，而非更长的对话——我们在下文“更好的性能消耗更多token，而非更多轮次”中直接考察对话长度。

最佳指导量取决于领域

两个领域在多少指导量才划算上存在分歧。在零售领域，越多越好，每项指标皆如此——小型sup3核心集在准确率上仅略胜基线，而要实现真正的跃升则需要完整的无损集。在航空领域，可靠性一端的情况则相反：无损集在准确率上领先（65%对60%），但紧凑的sup3核心集（14条准则）更为可靠，将Pass^4提升至45%，而无损集为40%。这呼应了此前的发现——交付是一个旋钮，而非常量——支持计数是一个值得按领域调校的旋钮，而非应硬编码的值。

更好的性能消耗更多token，而非更多轮次

准则并非免费，但成本落在你预期的地方——在提示词输入token上，而不是在更长、更冗长的对话中：

图2. 在完整基础划分上，按领域和准则配置统计的每次对话总LLM成本。

表3. 在完整基础划分上、四次试验中每次对话（智能体与用户模拟器）的总LLM成本。越低越好。

智能体是通过说得更久来达到目标的吗？为了干净地回答这个问题，我们做同类比较：在基线和准则变体下均解决的任务运行——场景和种子完全相同，是真正的“同一任务、正确完成”集合——并统计双方的助手轮次。

表4. 在测试划分上、两种设置下均解决的匹配运行中每次对话的助手轮次，汇总四次试验。

智能体并没有说得更久——在共享集合上，准则让对话略微变短：无损集在两个领域都削减约0.3–0.4轮（零售10.59 → 10.16，航空9.15 → 8.82），且没有任何变体使对话变长。这意义不止于成本：每一轮都是一次顺序LLM往返，因此更少的轮次意味着更低的端到端延迟——对客户而言是更快的完成时间，而不仅仅是更便宜。唯一真正的代价在输入侧——每次LLM调用都携带更大的系统提示词：零售的292条准则提示词将每次对话成本从约$0.084推高到约$0.139，而航空更小的策略手册则更便宜。在生产环境中，即便这部分也基本可以通过提示词缓存回收，因为准则块在每次调用中都完全相同。

因此这笔交易是有利的：以略高的输入成本（实践中大部分被缓存掉），智能体同时获得更高的准确率、更高的可靠性和更低的完成时间——不是通常的质量与延迟之间的权衡，而是三者同时朝正确方向移动。

学习到的准则也能提升使用前沿模型的智能体

到目前为止，我们使用的是一款较旧的、非推理模型——gpt-4.1。一个合理的反对意见是，学习到的准则对使用前沿模型的智能体可能帮助不大：也许它们只是弥补较弱模型的短板。因此我们直接进行了测试——我们在相同的τ²-bench ReAct脚手架上，使用gpt-5.5同时作为智能体和准则提取模型重新运行了航空领域，并从智能体自身的运行中重新挖掘准则。有一个细节随模型而变化：此设置中提取的准则均未达到支持度≥3（最高为支持度2），因此这里的高支持度核心是sup2而非sup3。

表5. gpt-5.5智能体在留出航空任务上、每个任务四次试验的性能。

学习到的准则也改善了此设置。在相同的留出测试任务上，将它们追加到提示词中使准确率提升+10个百分点（72.5 → 82.5），严格的Pass^4提升+15个百分点（55.0 → 70.0）——在这些相同任务上，可靠性增益比我们用gpt-4.1观察到的更大（+10个百分点），而且起点高得多。围绕模型学习准则，即使智能体从更强的基座出发也能得到提升。而且在基线可靠性在重跑之间波动的地方，无损配置精确复现——它带来的增益是可靠的，而非侥幸。

ALTK-Evolve在排行榜比较中位居榜首

按照τ²-bench的要求，提交内容在完整基础划分（训练∪测试）上评分，并以Pass^4报告。由于这覆盖完整任务集而非留出测试划分，这些数字与上文报告的测试任务数字不同。实践意义正体现在这里——提示词级记忆将使用各基座模型的智能体带入当前前沿公司行列，或超越它们：

零售：#1。在基础划分上，使用学习到的准则的智能体达到Pass^4 = 67.5%，领先于所有前沿模型，也领先于RAFT-30B-A3B（61.4%），后者是在合成τ²-bench零售数据上微调的模型。使用现成的gpt-4.1和追加到提示词中的策略手册，它比该微调系统高出+6.1个百分点。

航空：使用gpt-5.5时#1，使用gpt-4.1时#8。对照已发布的榜单，紧凑的sup3核心使使用gpt-4.1的智能体达到Pass^4 = 44%——排名第8，击败GPT-5.2（无推理），并几乎追平Claude Sonnet 4.5。换用更强的基座后，同样的方法直接登顶：使用gpt-5.5的智能体达到82.0%，超过所有前沿条目（66–72%）。

图3. ALTK-Evolve运行与2026年10月12日τ²-bench排行榜快照的Pass^4比较。

两个领域传达相同的信息：围绕模型学习准则在不同基座模型上都有效——将使用较旧、非推理模型的智能体带入零售领域的前沿行列，并将使用前沿模型的智能体带上航空领域榜首。

智能体无需权重更新即可改进

在基准上微调模型成本高昂、脆弱，且无法迁移到下一个领域。在这里，ALTK-Evolve在两个领域都用现成模型改进现成智能体——并在零售领域匹敌或超越微调系统——仅使用从智能体自身运行中提取的提示词级准则，自动完成，无需人工标注，也没有任何测试集泄漏。

链接：

往期文章 想到ACE？我们用更少的token就能做到

你的智能体实际需要多少记忆？

零售排行榜提交——τ²-bench PR #542

航空排行榜提交——τ²-bench PR #551

更多来自该作者的内容

你的智能体完成了任务。它还能再做一次吗？

IBM发布SOTA Granite时间序列PatchTST-FM-r2模型，采用商业友好许可证