Meta FAIR proposes routed continual learning architecture Routed CL, API costs can be reduced by 65% to 72%

面对相似任务时，让 agent 复用彼此积累的经验，是一种自然的思路。遗憾的是，并不存在一种在所有场景下都好用的经验保留方式，也无法提前知道某段经验会对哪些未来问题有帮助。

对于持续运行的 agent 系统而言，过往轨迹确实能减少后续任务的重复试错，可一旦不同任务的经验混在一起，也可能造成干扰；如果把所有历史轨迹都统一保留下来，细节确实最完整，却又会增加上下文和 API 成本；如果把所有经验都压缩成同一种记忆形式，又可能丢掉只对特定任务有用的信息。

为此，Meta FAIR 团队提出了“路由式持续学习”（Routed Continual Learning，Routed CL）。该架构会把历史轨迹归入不同的簇（cluster），并为每个簇单独维护一套记忆。每次运行前，基于 LLM 的路由器会依据当前问题、可用记忆系统的说明和已有簇的摘要，先判断这个任务和哪一类历史经验最接近，最后决定是复用某个簇，还是创建一个新簇。

这套架构有两个核心特性。其一是透明部署：架构可以直接接入现有 agent系统，不要求各 agent 彼此协同，也无需改变原有运行方式；其二是路由：Routed CL 不仅决定哪些任务应该共享经验，还要从固定的记忆系统库中选择经验的保存方式。有些任务适合保留原始轨迹，有些任务更适合提炼可复用的推理策略，另一些任务则可能需要结构化的数值状态。因此，所有任务不必使用同一种记忆表示。

图｜路由式持续学习的概览

他们还设计了上下文记忆适配器（Context Memory Adapter），负责连接记忆系统和 agent。它会在任务开始前把对应簇中的记忆写入 agent 的上下文，并在任务完成后用当前轨迹更新该簇。

他们在一个混合了多种任务的任务流上评估了这套架构。评测包含六个 CL-Bench 任务中的 301 个实例，以及 τ³-Bench 中 97 个银行业务实例，每个实例是一场多轮客服对话。不同来源的实例被交错排列，系统需要在没有显式实例标签的情况下处理它们。实验覆盖 Gemini 3.7 Flash、GPT-5.6 Sol、Opus 4.7 和 Opus 5 四个语言模型，每个模型都重复运行 5 次，以减少随机性的影响。

图｜五种记忆系统，按其保留状态的形式分组

结果显示，Routed CL 相比只使用单一全局上下文学习历史的 Global ICL，归一化奖励提升幅度相当于最大可达归一化奖励的15% 至 30%，且估算 API 成本降低 65% 至 72%。它的平均归一化奖励也高于仅 ICL 聚类的方案。

图｜五次配对执行的平均归一化奖励与平均估算 API 成本的关系

在四个模型上，Routed CL 的平均归一化奖励均高于 Stateless ICL、Global ICL 与 Routed ICL 三种对照方案。据此，他们认为，持续学习的关键并不是记得越多越好，而是要同时做出两个判断：经验以什么形式保留，以及哪些经验值得放在一起复用。

图｜五次配对完整运行下的归一化奖励

结果还显示，Global ICL 在不同评测设置中的表现差异很大。在原始 CL-Bench 中，各类任务是分别运行的，此时，Stateless ICL 曾是表现最强的方案之一；但当多个任务被交错到同一条流中时，Global ICL 相比无状态条件的平均归一化奖励只增加 0.015。这说明，全局记忆真正的问题并不只是容量有限，而是不同任务的经验会彼此干扰。

当然，这并不意味着 Routed CL 已经解决了持续学习的全部问题。他们承认，当前实验按顺序处理任务，每次 rollout 使用一个语言模型作为执行者（actor），并同时承担记忆系统中所有由模型中介的角色。虽然系统在设计上已经考虑了不同记忆簇之间的隔离和更新一致性，但尚未评估并发更新、读取到旧版本状态，以及不同模型之间复用同一簇状态的情况。

他们同时也指出，未来一个任务或许可以同时调用多个记忆簇；一次新的运行轨迹，也可以同时更新多个簇，甚至以不同形式写入记忆。

更多技术细节，详见原论文。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。