Google 与宾州州立大学论文提出 SIM,为智能体框架改动记录理由
New Google and Penn State paper finds that when one AI rewrites the code that gives another AI its instructions and tools, keeping notes on why each change was
Google 与宾州州立大学的新论文提出 Self-Improvement Memory(SIM),在让一个 AI 改写另一个 AI 的指令与工具代码时,记录每次改动针对的问题、推理过程和实测结果。把 Claude Opus 5.5 的 harness 迁移到 Gemini 3.8 Flash 的 workspace 任务时,SIM 将分数从 68.41 提升到 84.75,而无日志时为 73.42;在 10 次重复编码运行中,SIM 有 9 次领先,平均高出 2.36 分。
推荐理由
AI 评分 57
论文给出跨模型迁移时保留改动理由的做法,并用一组具体分数对比说明日志带来的差异。
主题
正文 · AI 翻译
Google与宾州州立大学的新论文发现,当一个AI改写为另一个AI提供指令和工具的代码时,记录每次改动原因有助于让收益延续到新模型上。
如今,LLM可以改写智能体的harness,即运行提示词和工具的代码。在切换模型或基准测试后,其得分可能低于原始版本,而且其代码掩盖了做出这些编辑的原因。
Self-Improvement Memory(SIM)会记录每次编辑所针对的问题、其推理过程以及实测结果。优化器在新设置下读取该日志,以决定保留或修改哪些旧编辑。
当Claude Opus 5.5的harness迁移到Gemini 3.8 Flash的workspace任务时,SIM将其得分从68.41提升到84.75,而无日志时为73.42。在10次重复编码运行中,SIM有9次领先,平均高出2.36分。
记录每次harness编辑的原因及其得分,并将该日志带到新模型中。
AI 热点