先了解这件事
AI 综述
2026年2月5日,Anthropic发布研究,量化基础设施配置对智能体编码评测结果的影响。其在Terminal-Bench 2.0上发现,仅基础设施配置差异就能带来6个百分点的分数差距(p<0.01):从严格按任务规格限制资源到完全不设上限,基础设施错误率从5.8%降至0.5%。在3倍资源以内,分数波动仍在噪声范围内(p=0.40);超过3倍后,额外资源开始让智能体完成此前无法完成的任务,说明资源限制会改变评测实际测量的内容。SWE-bench上的交叉实验复现了同一方向但幅度更小的效应,5倍RAM仅比1倍高1.54个百分点。Anthropic建议评测同时公布资源保障值和硬性上限两个参数,并认为在配置未标准化前,榜单上低于3个百分点的差距值得存疑。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 量化智能体编码评测中的基础设施噪声事件进展
1 个已确认进展
- 来源：Anthropic Engineering
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月5日
Anthropic Engineering一手
Anthropic 量化智能体编码评测中的基础设施噪声
Anthropic 在 Terminal-Bench 2.0 上发现，仅基础设施配置差异就能带来 6 个百分点的分数差距（p < 0.01）：从严格按任务规格限制资源到完全不设上限，基础设施错误率从 5.8% 降至 0.5%。在 3 倍资源以内，分数波动仍在噪声范围内（p=0.40），超过 3 倍后额外资源开始让智能体完成此前无法完成的任务，说明资源限制会改变评测实际测量的内容。SWE-bench 上的交叉实验也复现了同一方向但幅度更小的效应，5 倍 RAM 仅比 1 倍高 1.54 个百分点。Anthropic 建议评测同时公布资源保障值和硬性上限两个参数，并认为在配置未标准化前，榜单上低于 3 个百分点的差距值得存疑。