先了解这件事
AI 综述
2025年1月6日,Anthropic 公布升级版 Claude 3.5 Sonnet 在软件工程基准 SWE-bench Verified 上取得 49% 得分,超过此前最先进模型的 45%。Anthropic 同时公开了围绕该模型构建的智能体脚手架:只用一个提示词、一个执行 bash 命令的 Bash Tool 和一个查看编辑文件的 Edit Tool,让模型自行决定解题步骤,并以字符串替换方式指定文件修改。官方还列出运行该评测的难点,包括单次成功运行常需数百轮交互、超过 100k token,以及隐藏测试和环境配置问题带来的评分偏差。目前该事实尚无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Anthropic Engineering
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月6日
Anthropic Engineering一手
Claude 3.5 Sonnet 在 SWE-bench Verified 达到 49%，Anthropic 公开其智能体脚手架
升级版 Claude 3.5 Sonnet 在 SWE-bench Verified 上取得 49%，超过此前最先进模型的 45%。Anthropic 介绍了围绕该模型构建的智能体：只用一个提示词、一个执行 bash 命令的 Bash Tool 和一个查看编辑文件的 Edit Tool，让模型自行决定解题步骤，并以字符串替换方式指定文件修改。文中还列出运行该评测的难点，包括单次成功运行常需数百轮交互、超过 100k token，以及隐藏测试和环境配置问题带来的评分偏差。