Letta 发布 FrontierMemory 基准：五个智能体框架记忆测试成绩差距明显
Five AI agent harnesses took the same memory test. The results weren’t even close.
Letta 发布 FrontierMemory 基准，测试智能体能否把过往经验转化为后续任务表现，而非仅检索事实。结果显示 Letta Dream 以 73.3% 居首，Prime Agent 为 60%，OpenAI Agents SDK 为 40%，Claude Managed Agents 和 Hermes Agent 分别为 33.3% 和 26.7%。在记忆生成环节，Claude Opus 5.5 与 GLM-5.3 以 73.3% 并列第一，但 GPT-6.1 Sol 每任务成本约 0.77 美元，低于 Opus 5.5 的 2.80 美元和 GLM-5.3 的 3.58 美元。该基准目前仅含 15 个任务、每任务一次尝试，后续将加入更长任务和在线记忆更新。
正文 · AI 翻译
AI智能体在记住过往对话和先前任务方面正变得越来越强，但记住某件事并不保证智能体下次能利用它把工作做得更好。Letta于周三发布的新基准FrontierMemory正是通过衡量智能体能否从经验中学习、而非仅仅检索已存储的信息，来检验这一差距。早期结果显示，各智能体框架（即管理智能体运行方式的基础设施）在性能上存在普遍差异。
Letta Dream以73.3%的得分位居榜首，Prime Agent以60%紧随其后。OpenAI Agents SDK得分为40%，而Claude Managed Agents和Hermes Agent分别以33.3%和26.7%落后。
回忆不等于学习
“现代‘记忆’基准已经饱和，因为它们衡量的是对事实的回忆，”Letta联合创始人兼CEO Charles Packer在X上写道。他表示，在编码框架和bash循环时代，回忆问题已经解决，而token空间中的持续学习——即通过智能体保留的上下文而非权重更新来学习——仍未解决。
同样身为Letta联合创始人的Sarah Wooders在X上指出了另一个问题。大多数编码和知识工作基准评估的是互不相关的任务，且所有必要上下文都预先提供。但人们实际工作并非如此。Wooders将其比作开始一份新工作：新员工需要大量指导，而在岗位上待了多年的人往往只需很少说明就能完成工作。
Packer的前提是：“如果AI生成的记忆是好的，它就应该真正提升下游任务的表现。”
FrontierMemory采用了不同的方法。智能体会收到先前工作的记录，包括成功和失败的尝试，然后生成自己的记忆，以帮助完成后续任务。Packer的前提是：“如果AI生成的记忆是好的，它就应该真正提升下游任务的表现。”开发者们已经接受了这一基本理念，通过将语言模型与记忆系统和反馈循环相结合，构建出持续学习的智能体。
Letta对现有的编码和知识工作测试进行了改造，使智能体必须运用从先前任务中学到的内容，而不是一切都为它们明确说明。在审查并修复了原始测试中的问题后，Letta将FrontierMemory 1.0缩减至仅15个任务。
框架胜过模型
框架本身可能与运行于其中的模型同样重要。Letta测试了五个智能体系统，以了解它们从先前工作中学习并将这些经验用于新任务的能力。
框架本身可能与运行于其中的模型同样重要。
当Letta Dream和OpenAI Agents SDK都使用GPT-6.1 Sol创建记忆、并使用GPT-6 Sol完成任务时，Letta Dream以60%对40%胜出。在使用Claude Opus 5.5时，差距进一步拉大。Dream得分为73.3%，Prime Agent为60%，Claude Managed Agents为33.3%。
Packer表示，智能体处理AI“做梦”的方式会带来很大差异。“做梦”是指智能体回顾过往工作，并将所学转化为日后可用的指令或记忆。他还指出，Prime Agent的表现优于Hermes Agent，这是这些系统差异之大的又一例证。但有一个缺点：如果不对保存的内容加以检查，智能体就有可能学到并重复不良习惯。
FrontierMemory还比较了七个前沿模型在生成有用记忆方面的表现。Anthropic的Claude Opus 5.5和Z.ai的GLM-5.3以73.3%并列第一，Kimi K3以66.7%紧随其后，OpenAI的GPT-6.1 Sol和Google的Gemini 4 Argon均得60%。Muse Wonder达到46.7%，Grok 4.7以33.3%垫底。Packer表示，Opus 5.5和GLM-5.3在生成有用记忆方面明显优于GPT-6.1 Sol。
Packer表示，Opus 5.5和GLM-5.3在生成有用记忆方面明显优于GPT-6.1 Sol。
更便宜的记忆，更低的得分
但OpenAI拥有巨大的价格优势。GPT-6.1 Sol每任务成本估计为0.77美元，而Opus 5.5为2.80美元，GLM-5.3为3.58美元。因此，尽管OpenAI得分较低，但运行成本要低得多。
Letta使用其Dream框架为每个模型创建记忆，然后测试这些记忆在Letta Code中运行的任务上效果如何。结果显示，更好的记忆、更强的性能和更低的成本之间存在权衡。
可迁移的记忆
Letta还研究了为什么有些记忆比其他记忆效果更好。在一项涉及公司定价数据的测试中，Opus 5.5创建了一项技能，告诉智能体何时使用某些信息。GPT-6.1 Sol创建了四项独立技能，但智能体始终没有找到它需要的那一项。
Gemini 4 Argon犯了另一个错误。它记住了具体的文件大小，而当下一项任务涉及不同文件时，这并没有太大帮助。Opus 5.5则告诉智能体同时检查常规文件和电子邮件以获取信息。即使任务发生变化，这一做法也依然有效。由Opus 5.5创建的记忆帮助GPT-6 Sol完成了任务，这表明开发者可以使用更昂贵的模型来构建记忆，而用更便宜的模型来完成工作。
其他开发者已经注意到了这一点。在 Letta 的 Sarah Wooders 在 X 上发布关于该基准的帖子后，OpenClaw 账号回应称，希望为其平台提供一个插件。该账号表示，其多人环境将是测试该基准的一个有趣场所，这引发了关于当多个智能体共享同一套运行框架时记忆如何运作的疑问。
“是的，当然——很乐意将 OpenClaw 加入运行框架对比！”Wooders 写道。“扩展到多人记忆也是一个非常有趣的未来方向。”
该基准的不足之处
FrontierMemory 仍处于早期阶段。仅有 15 个任务且每个任务只有一次尝试，单个结果就可能使分数变动约 6.7 个百分点。该基准目前侧重于智能体从过往工作中学习，而非在运行过程中更新记忆。Packer 表示，下一个版本将加入运行时间更长的任务和在线记忆更新。
文章《五个 AI 智能体运行框架参加了同一项记忆测试。结果差距悬殊。》首发于 The New Stack。