←新闻详情

Rohan Paul更新于 10月25日 23:35

普林斯顿与 Google 论文:4B 决策模型分担智能体工具选择,成本降 81.1% 至 89.0%

New Princeton Univ + Google paper finds that the decision model most accurate on isolated questions solved only 69.5% of agent tasks, while a 4B model trained

AI 导读

普林斯顿大学与 Google 的新论文发现,在孤立问题上最准确的决策模型只解决了 69.5% 的智能体任务,而在智能体状态上训练的 4B 模型解决了 91.5%。其 harness 把每一步的工具选择交给快速决策模型,只有置信度超过在智能体自身运行上拟合的阈值时才采用其答案,并用智能体实际到达的状态(包括犯错之后的状态)训练了 AgentDecision-4B。在类似训练数据的任务上,这类 4B 模型让智能体成本降低 81.1% 至 89.0%、速度最高提升 2.5x,成功率差距在 3 个百分点以内;若不加阈值把所有工具选择都交出去,成功率下降 19.0 个百分点。论文地址为 arxiv.org/abs/2610.21412。

推荐理由

AI 评分 56

论文给出用小模型分担智能体工具选择的具体做法,以及置信阈值对成功率的影响数据。

主题

标签

正文 · AI 翻译

普林斯顿大学与 Google 的新论文发现,在孤立问题上最准确的决策模型只解决了 69.5% 的智能体任务,而在智能体状态上训练的 4B 模型解决了 91.5%。

智能体 harness 在每一步都会调用大型 LLM,这使得长任务既慢又昂贵。然而,这些调用大多只是从列表中做选择,比如下一步使用哪个工具。

他们的 harness 把每个多项选择题交给一个快速决策模型,只有当其答案的置信度超过在智能体自身运行上拟合的阈值时才采用该答案。他们还用智能体实际到达的状态(包括其自身犯错之后的状态)训练了 AgentDecision-4B。

在类似其训练数据的任务上,以这种方式训练的 4B 模型使智能体成本降低 81.1% 至 89.0%,速度最高提升 2.5 倍。成功率差距保持在 3 个百分点以内,而不设阈值、把所有工具选择都交出去会使成功率下降 19.0 个百分点。

要把智能体的日常选择交给小模型,需在智能体自身的运行上训练它并设定其置信度阈值。

– arxiv. org/abs/2610.21412

来源

Rohan Paul