←新闻详情

Rohan Paul更新于 10月25日 23:39

Google 论文提出 OO-Harness:按任务类型演化专用智能体 harness

New Google paper shows that agents score higher when each task gets a specialized harness from a shared family, not 1 global harness.

AI 导读

Google 新论文提出 OO-Harness,把智能体 harness 按代码类演化,每个专用 harness 继承父类并只改动所属任务簇需要调整的部分,再由路由器根据基础运行结果选择专用 harness 或保留基础结果。在 AutomationBench 业务工作流上,该方法得分 77.41%,基础 harness 为 61.62%,全局方法 Meta-Harness 为 63.92%;在陌生应用上它保留基础 harness,通过率维持 59.18%,而 Meta-Harness 的全局 harness 降至 44.90%。作者建议混合负载时以基础 harness 作兜底,仅在运行暴露已知问题时路由到专用 harness。

推荐理由

AI 评分 57

原文给出 OO-Harness 与全局 harness 方法在 AutomationBench 上的分数对比,可看任务专用 harness 的收益与代价。

主题

标签

正文 · AI 翻译

谷歌新论文表明,当每个任务从共享家族中获得专用harness、而非使用1个全局harness时,智能体的得分更高。

智能体harness是围绕模型的提示词、工具和控制代码。大多数调优方法演化出1个全局harness,但针对1种任务类型的修复可能会损害另一种任务类型。

OO-Harness将harness作为代码类进行演化,每个专用harness继承自父类,并且只改动其所属集群需要调整的部分。路由器读取一次常规基础运行的结果,然后选择专用harness或保留基础结果。

在AutomationBench业务工作流上,它得分77.41%,而基础harness为61.62%,全局方法Meta-Harness为63.92%。在陌生应用上,它保留基础harness,通过率维持在59.18%,而Meta-Harness的全局harness降至44.90%。

对于混合负载,将基础harness保留为兜底,仅在运行暴露出已知问题时才路由到专用harness。

来源

Rohan Paul