先了解这件事
2025年7月23日,FutureHouse发布审计结果,称Humanity's Last Exam(HLE)纯文本化学与生物子集中约29%的答案与同行评审文献直接冲突。该审计使用开源PaperQA2智能体Crow检查321道题,发现53.3%的答案理由与已发表证据直接冲突,经独立专家复核后外推约29.3±3.7%(95% CI)的题目答案被研究文献直接反驳,51.3%获文献支持,19.3%属依赖假设或观点的模糊题。FutureHouse认为HLE要求题目必须难倒前沿模型、审稿人只需5分钟且无需核实正确性的流程,催生了大量gotcha式题目,并已将经AI与人类验证的题目子集作为HLE-Gold-Bio/Chem发布在Hugging Face。HLE团队在2025年9月16日的更新中回应,其独立复核发现Bio/Chem子集中约18%的题目存在问题,25%的情况下至少一位审稿人持异议,并计划推出滚动修订流程。
AI 根据公开报道生成
最新进展 · 正式报道
FutureHouse 审计发现约 29% 的 HLE 化学/生物答案与研究文献冲突事件进展
1 个已确认进展
- 来源：FutureHouse Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
7月23日
FutureHouse Research一手精选
FutureHouse 审计发现约 29% 的 HLE 化学/生物答案与研究文献冲突
FutureHouse 用开源 PaperQA2 智能体 Crow 审计 Humanity's Last Exam 的纯文本化学与生物子集（321 题），发现 53.3% 的答案理由与已发表证据直接冲突，经独立专家复核后外推约 29.3 ± 3.7%（95% CI）的题目答案被研究文献直接反驳，51.3% 获文献支持，19.3% 属依赖假设或观点的模糊题。团队认为 HLE 要求题目必须难倒前沿模型、且审稿人只需 5 分钟且无需核实正确性的流程，催生了大量 gotcha 式题目。他们已将经 AI 与人类验证的题目子集作为 HLE-Gold-Bio/Chem 发布在 Hugging Face，并建议用它评测相关系统。HLE 团队在 2025 年 9 月 16 日的更新中回应，其独立复核发现 Bio/Chem 子集中约 18% 的题目存在问题，25% 的情况下至少一位审稿人持异议，并计划推出滚动修订流程。