Google 论文提出 OO-Harness:按任务类型演化专用智能体 harness
New Google paper shows that agents score higher when each task gets a specialized harness from a shared family, not 1 global harness.
Google 新论文提出 OO-Harness,把智能体 harness 按代码类演化,每个专用 harness 继承父类并只改动所属任务簇需要调整的部分,再由路由器根据基础运行结果选择专用 harness 或保留基础结果。在 AutomationBench 业务工作流上,该方法得分 77.41%,基础 harness 为 61.62%,全局方法 Meta-Harness 为 63.92%;在陌生应用上它保留基础 harness,通过率维持 59.18%,而 Meta-Harness 的全局 harness 降至 44.90%。作者建议混合负载时以基础 harness 作兜底,仅在运行暴露已知问题时路由到专用 harness。
推荐理由
AI 评分 57
原文给出 OO-Harness 与全局 harness 方法在 AutomationBench 上的分数对比,可看任务专用 harness 的收益与代价。
主题
正文 · AI 翻译
谷歌新论文表明,当每个任务从共享家族中获得专用harness、而非使用1个全局harness时,智能体的得分更高。
智能体harness是围绕模型的提示词、工具和控制代码。大多数调优方法演化出1个全局harness,但针对1种任务类型的修复可能会损害另一种任务类型。
OO-Harness将harness作为代码类进行演化,每个专用harness继承自父类,并且只改动其所属集群需要调整的部分。路由器读取一次常规基础运行的结果,然后选择专用harness或保留基础结果。
在AutomationBench业务工作流上,它得分77.41%,而基础harness为61.62%,全局方法Meta-Harness为63.92%。在陌生应用上,它保留基础harness,通过率维持在59.18%,而Meta-Harness的全局harness降至44.90%。
对于混合负载,将基础harness保留为兜底,仅在运行暴露出已知问题时才路由到专用harness。