先了解这件事
AI 综述
2026年10月12日,Nvidia发表一篇新论文,提出按首次通过测试的编辑来评估基座模型。论文发现,按智能体运行的每一步给基座模型打分,效果不如只按首次让测试通过的编辑打分。方法上,研究者回放强智能体的成功运行轨迹,在每次编辑后重跑测试,找到第一个让测试通过的编辑,再检验基座模型是否偏好该编辑、能否在失败编辑中选中它并写出可通过的编辑。基座模型写出该编辑的可能性对10个模型的排名,与它们后训练后的SWE-bench Verified分数一致,相关性为0.964。作者建议在为智能体任务选择待后训练的基座模型时先做这项检查,它只需要某个基准的成功智能体运行轨迹和测试。
AI 根据公开报道生成
最新进展 · 正式报道
Nvidia 新论文：按首次通过测试的编辑给基座模型打分更有效事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月12日
Rohan Paul
Nvidia 新论文：按首次通过测试的编辑给基座模型打分更有效
Nvidia 一篇新论文发现，按智能体运行的每一步给基座模型打分，效果不如只按首次让测试通过的编辑打分。方法上，他们回放强智能体的成功运行轨迹，在每次编辑后重跑测试，找到第一个让测试通过的编辑，再检验基座模型是否偏好该编辑、能否在失败编辑中选中它并写出可通过的编辑。基座模型写出该编辑的可能性对 10 个模型的排名，与它们后训练后的 SWE-bench Verified 分数一致，相关性为 0.964。作者建议在为智能体任务选择待后训练的基座模型时先做这项检查，它只需要某个基准的成功智能体运行轨迹和测试。