先了解这件事
AI 综述
2026年8月21日,Amazon Science发布SOP-Bench,一个面向AI智能体的开源基准,用真实企业标准作业流程(SOP)配合可用工具和标准答案进行评测。据官方说明,该基准覆盖12个业务领域、超过2000个任务,已在GitHub和HuggingFace发布,包含12套专家编写的流程、生成的工具与数据集、两个基线智能体和评测代码。官方还称,测试11个前沿模型发现,升级模型有时反而降低表现,例如推理型智能体上Claude 4.5系列得分低于Claude 4系列;给智能体增加20个看似合理但无用的工具后,成功率几乎减半。目前该基准已公开,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
亚马逊发布 SOP-Bench：用真实企业 SOP 评测 AI 智能体事件进展
1 个已确认进展
- 来源：Amazon Science
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月21日
Amazon Science一手
亚马逊发布 SOP-Bench：用真实企业 SOP 评测 AI 智能体
亚马逊发布 SOP-Bench，一个覆盖 12 个业务领域、超过 2000 个任务的开源基准，用真实标准作业流程（SOP）配合可用工具和标准答案来评测 AI 智能体。测试 11 个前沿模型发现，升级模型有时反而降低表现，例如推理型智能体上 Claude 4.5 系列得分低于 Claude 4 系列；给智能体增加 20 个看似合理但无用的工具后，成功率几乎减半。基准已在 GitHub 和 HuggingFace 发布，包含 12 套专家编写的流程、生成的工具与数据集、两个基线智能体和评测代码。