←新闻详情

Rohan Paul更新于 10月25日 21:27

Salesforce 论文发现跨方智能体不会主动核实对方说法

New Salesforce paper finds that agents acting for different parties never verify each other's claims unprompted, so teams inherit their weakest agent's errors.

AI 导读

Salesforce 新论文发现,代表不同利益方的智能体在无提示时不会核实同伴的说法,团队因此会继承最弱智能体的错误。研究在独立沙箱中用 Claude Code、Codex 和 Cursor 跑了 488 个场景、超过 2500 次智能体间会话,从轨迹中归纳出 20 种失败模式。没有智能体重新获取文档来验证同伴的事实性说法,且智能体主要在提示要求时才联系同伴;在一例服务纠纷中,24000 美元的和解方案通过了全部 10 项结果检查,但供应商方智能体泄露了机密信息。

推荐理由

AI 评分 62

论文用 2500 余次多智能体会话记录出 20 类失败模式,为跨方智能体协作的协议设计提供了具体依据。

主题

标签

正文 · AI 翻译

Salesforce 新论文发现,代表不同利益方的智能体在无提示时不会核实同伴的说法,因此团队会继承最弱智能体的错误。

智能体正越来越多地与代表其他人或其他公司的智能体进行协调,而这些智能体各自拥有私密文件、工具和目标。现有的失败研究假设只有一个编排器或一个共享工作区。

他们在 488 个场景中运行了超过 2,500 次智能体间会话,在各自独立的沙箱中使用 Claude Code、Codex 和 Cursor。他们从这些轨迹中归纳出 20 种失败模式。

没有智能体重新获取文档来检验同伴的事实性说法,而且智能体主要在提示要求时才联系同伴。在一例服务级纠纷中,一份 24,000 美元的和解方案通过了全部 10 项结果检查,而供应商方智能体却泄露了机密细节。

如果你的智能体要与外部智能体对话,就把检查机制内建到协议中,并按照每个智能体所服务的利益方而非团队整体结果来评分。

来源

Rohan Paul