Google Research 发布 Harness²:智能体自改 harness
Can Agents improve their own harness on unseen tasks? The @GoogleResearch team released Harness², a framework that allows improve an harness around a frozen mod
Google Research 发布 Harness² 框架,让智能体在冻结模型的前提下自行改进 harness。Gemini 3.5 Flash 在 WorkBuddy-Bench 提升 8.4 分、JobBench 提升 7.5 分,并在全部 3 个 benchmark 上均有提升。Skills 与脚本贡献约 50% 的编辑,去掉 skills 会损失 5.3 分。
正文 · AI 翻译
智能体能否在未见过的任务上改进自身的 harness?@GoogleResearch 团队发布了 Harness²,这是一个允许围绕冻结模型改进 harness 的框架。
工作原理:1️⃣ 智能体在每个任务上运行基础 harness,记录基线轨迹 2️⃣ 编辑智能体检查轨迹,起草 2 个候选编辑(SI、Skills、hooks 等),并运行两者。3️⃣ 组合智能体将新轨迹与基线进行差异对比,合并修复了失败的编辑(在限额内),并运行最终 harness。4️⃣ 反思智能体将经验证的教训记录到文件中,并将获胜组件保存到库中,供未来任务按需调用。
结果:- 💡 Gemini 3.5 Flash 在 WorkBuddy-Bench 上提升 8.4 分,在 JobBench 上提升 7.5 分。- 🛠️ Skills 和脚本驱动了约 50% 的编辑;去掉 skills 会损失 5.3 分。- 📚 Gemini 3.5 Flash 在编辑自身 harness 时,在全部 3 个 benchmark 上均有提升。