先了解这件事
AI 综述
METR于2026年3月10日发布研究,发现约半数通过SWE-bench Verified自动评分的AI生成PR不会被维护者合并入main。研究让3个SWE-bench Verified仓库的4名维护者复核296个AI生成的PR,维护者合并率平均比自动评分低约24.2个百分点。研究同时用47个人类已合并PR作为基准来校正维护者判断中的噪声,并指出智能体没有像人类开发者那样根据反馈迭代的机会,因此这并不代表能力上限。按时间跨度换算,Claude Sonnet 4.5在自动评分下约50分钟,在维护者合并标准下仅约8分钟。
AI 根据公开报道生成
最新进展 · 正式报道
METR：约半数通过 SWE-bench 的 AI PR 不会被维护者合并事件进展
1 个已确认进展
- 来源：METR Notes
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
3月10日
METR Notes一手精选
METR：约半数通过 SWE-bench 的 AI PR 不会被维护者合并
METR 让 3 个 SWE-bench Verified 仓库的 4 名维护者复核 296 个 AI 生成的 PR，发现约一半通过自动评分的 PR 不会被合并进 main，维护者合并率平均比自动评分低约 24.2 个百分点。研究同时用 47 个人类已合并 PR 作为基准来校正维护者判断中的噪声，并指出智能体没有像人类开发者那样根据反馈迭代的机会，因此这并不代表能力上限。按时间跨度换算，Claude Sonnet 4.5 在自动评分下约 50 分钟，在维护者合并标准下仅约 8 分钟。