Anthropic proposes the Agent4Sci evaluation framework: AI scientific research improvements mostly come from engineering tricks
English text is being prepared.
The Anthropic team proposes Agent4Sci, a long-horizon automated hill-climbing evaluation framework for scientific machine learning tasks, covering 11 scientific fields, 20 benchmarks, and 25 tasks. In the experiments, the average relative improvements of Claude Opus 4.6, Claude Sonnet 4.6, Gemini 3.1 Pro, and Codex (GPT-5.4) were 10.4%, 9.6%, 6.8%, and 4.4%, respectively, and all 20 benchmarks were improved by at least one Agent. Trajectory analysis shows that the improvements mainly come from conventional machine learning engineering tricks such as learning rate tuning and backbone replacement; after adding three plugin skills, Opus's average relative improvement rose to 20.1%. This work was accepted to the NeurIPS 2026 Evaluations and Datasets track.
Why read this
AI score 59
The original text presents the improvement margins and trajectory analysis of four frontier Agents on 20 scientific research benchmarks, making it clear that the gains come from engineering tricks rather than scientific insight.
Topics
Body
前沿 Coding Agent 正在将机器学习研究转化为可自动执行的工作流，但现有研究多集中于结构良好的代码库、单一任务或计算机科学领域，面对分散在不同学科、缺乏完善训练与评估流程的科研项目，Agent 能否真正改进模型，仍缺少系统性测量。直接在原始科研代码库上测试 Agent 也并不可靠，原始仓库缺少明确的指标定义或规范的数据划分时，Agent 可能利用评估漏洞取得表面上的提升，而非真正改善模型。
为此，Anthropic 团队提出了Agent4Sci，这是一个面向科学机器学习（ML for Science）任务的长程自动爬坡评测框架，覆盖 11 个科学领域、20 个基准和 25 个任务。
实验中，四个前沿 Agent 合计改进了全部 20 个基准，Claude Opus 的平均相对改进达到 10.4%。然而，研究团队通过分析 Agent 的运行轨迹，发现其改进主要来自常规机器学习工程技巧，而非研究级洞察。加入三个插件技能后，Opus 的平均相对改进进一步升至 20.1%。该工作入选 NeurIPS 2026 评估与数据集赛道。
Agent4Sci的构建分为两步，先把科研任务标准化，再以三阶段协议隔离爬坡、评估与审计，限制先导实验暴露的作弊空间。
第一步是四阶段筛选加人工标准化。研究团队通过领域分类、自动筛查、人工验证和深度审查四个阶段筛选基准。以 NeurIPS 2025 数据与基准赛道为例，研究团队从 497 篇候选论文中最终选出 10 个基准，拒绝率约为 98%。每个入选任务都必须通过论文基线复现，并完成数据划分、运行环境和训练流程的标准化。
第二步是三阶段评估协议。首先，爬坡 Agent 获取论文、代码、训练数据和验证数据，在固定资源预算内修改代码、训练模型并提交结果，但无法访问测试集。随后，独立的评估 Agent 使用标准化评估流程，在保留测试集上计算最终指标。最后，审计 Agent 检查运行日志与提交产物，识别评估投机和其他学术不端行为。
图｜Agent4Sci 评估协议，爬坡、评估与审计三个 Agent 相互隔离
这种设计针对性地解决了先导实验暴露的评估漏洞。研究团队进一步使用 Claude、Codex 和 Gemini 三个模型家族的审计 Agent 交叉复核部分运行轨迹，审计结论保持一致，且没有运行被标记。不过，独立评估与审计并不意味着能够排除所有隐蔽的投机行为。
实验比较了 Claude Opus 4.6、Claude Sonnet 4.6、Gemini 3.1 Pro 和 Codex（GPT-5.4）。四者均通过各自的官方 CLI，以最高推理强度运行。每次实验提供 8 张 H200 GPU 和 12 小时预算，人类不参与实验过程中的具体决策。四个 Agent 的平均相对改进分别为10.4%、9.6%、6.8%、4.4%。不是每个 Agent 都在所有基准上取得提升，但全部 20 个基准均至少被一个 Agent 改进，单项改进幅度从 1.1% 到 64.4% 不等。
图｜四个前沿 Agent 在 Agent4Sci 上的平均相对改进
具体案例显示，提升既可能来自常规模型优化，也可能源于更有针对性的任务改造。在 PFDelta 电力潮流估计任务中，Opus 通过调整辅助损失、提高均方误差损失的权重，并改用带预热的余弦退火，将平均功率平衡损失降低了 64.4%。在 Mars-Bench 的锥体检测任务中，Opus 将原有的 RetinaNet 替换为更适合该任务的 Faster R-CNN，使 mAP 从 16.5 提升至 30.4。
然而，轨迹分析揭示了这些增益背后的局限。Agent 大量采用学习率调整、模型加深加宽、骨干网络替换和权重衰减等成熟方法，针对具体科学问题的干预则相对少见。不同 Agent 的工作方式也存在明显差异：Opus 持续监控日志并迭代实验，Codex 倾向于较早提交长时间运行的脚本，随后等待执行结束，Gemini 则介于两者之间。
针对轨迹中反复出现的问题，研究团队设计了三个轻量插件技能，分别用于研究构思、实验管理和定时检查清单。插件技能让两个 Agent 的平均改进接近翻倍。Opus 在 20 个基准中 18 个改善，PFDelta 从 64.4% 跃至 91.0%，MassSpecGym 达 39.5%，CarbonGlobe 达 35.3%。PFDelta 上的新方案读起来更像物理推理，Agent 识别出功率平衡损失可由基尔霍夫定律推导且无需标签，把它重构为训练主损失，推理时以 GNN 预测为交流潮流方程提供暖启动，逐步精化电压变量把物理残差压向零。
图｜默认运行与加装技能后的各基准改进幅度对比
研究团队表示，虽然性能提升主要来自机器学习工程而非科学推理，Agent4Sci 仍然将自动化科研中的模型改进能力转化为可复现、可审计的评测问题。它不仅衡量 Agent 能否提高指标，也尝试辨别提升究竟来自成熟的工程技巧，还是对科学问题本身的理解。
未来，Coding Agent 能否从更高效地执行实验，走向提出更有价值的研究思路，将成为衡量自动化科研能力的重要问题。
更多技术细节，详见原论文。
本文来自微信公众号“学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。