先了解这件事
AI 综述
2026年10月8日,UniPat AI发布PaperBenchX,报道称这是国际上第一个多学科端到端论文结果复现Benchmark。该基准从93篇论文构建93个复现任务,横跨电磁、光子、化学、材料、生物、机器人等12个研究方向和10种领域原生科学环境,含3168条专家校验评分项。在93个任务上,表现最强的GPT-6 Astra完整复现率只有13.98%,建模和执行阶段平均得分分别为62.70%和61.84%,验证阶段仅42.80%。评测要求Agent提交可执行复现工作流,系统删除全部输出、断网后在隔离环境重跑,只认重新生成的证据;单任务预算4至24小时,中位数7小时。团队已开源12个代表性测试任务,并维护81个封闭测试任务。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：量子位
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月8日
量子位
UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX，这是国际上第一个多学科端到端论文结果复现 Benchmark，从 93 篇论文构建 93 个复现任务，横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。在 93 个任务上，表现最强的 GPT-6 Astra 完整复现率只有 13.98%，建模和执行阶段平均得分分别为 62.70% 和 61.84%，验证阶段仅 42.80%。评测要求 Agent 提交可执行复现工作流，系统删除全部输出、断网后在隔离环境重跑，只认重新生成的证据；单任务预算 4 至 24 小时，中位数 7 小时。团队已开源 12 个代表性测试任务，并维护 81 个封闭测试任务。