Google DeepMind 等机构论文:最佳 AI 智能体解出 50 道未公开研究级物理题中的 49 道
New paper from Google Deep Mind, and many top Universities finds the best AI agent tested solved 49 of 50 unpublished research-level theoretical physics problem
Google DeepMind 与多所顶尖高校的新论文显示,测试中表现最好的 AI 智能体解出了 50 道未公开研究级理论物理题中的 49 道,每题约相当于领域专家一天的工作量,单题成本低于 3 美元。这些题目由专家从自身研究中提供,智能体独立作答,分联网与不联网两组,仅按最终数值答案评分。GPT-6-Astra 在 Codex 中联网解出 49 道,它与 Opus 5.5 在 Claude Code 中不联网各解出 46 道,去掉联网后准确率变化很小,作者据此认为模型可能已记住大量物理文献。
推荐理由
AI 评分 74
论文用专家未公开的50道研究级物理题测试智能体,并给出单题成本与联网与否的对比。
主题
正文 · AI 翻译
Google Deep Mind 与多所顶尖大学合作发表的一篇新论文发现,测试中表现最好的 AI 智能体解出了 50 道未公开的研究级理论物理题中的 49 道,每道题大约相当于一位世界级专家一天的工作量。
而每道题的成本不到 3 美元。
物理学中针对 AI 的基准测试通常使用教科书或竞赛题目,或者屏蔽掉真实研究人员所使用的工具。因此,智能体能否处理日常研究中大量出现的计算,此前并不清楚。
专家们从自己的研究中贡献了 50 道未公开的题目,每道题大约相当于一位专家一天的工作量。智能体独立作答,分为可联网和不可联网两组,且仅根据最终数值答案评分。
Codex 中的 GPT-6-Astra 在联网情况下解出了 50 道中的 49 道,而它和 Claude Code 中的 Opus 5.5 在不联网的情况下都解出了 50 道中的 46 道。去掉联网后准确率几乎没有变化,这表明这些模型可能已经记住了大量物理学文献。