OpenAI 推出药物化学推理基准 MedChemBench
OpenAI Introduces MedChemBench for Medicinal-Chemistry Reasoning
OpenAI 推出包含 99 道题的药物化学推理基准 MedChemBench,并报告 GPT-6.2 Astra 在 xhigh 推理强度下获得 84.5% 的可用分数。任务取自 117 篇论文和专利,涵盖 761 个独立评分的分子结构,重点评估模型结合分子结构与实验数据进行解释、比较和属性预测的能力。结果显示模型在结构重建和科学解释上表现较强,但候选化合物选择与数值预测相对较弱,且该基准不能说明模型能够发现新药或改善实验室决策。
推荐理由
AI 评分 54
该基准将药物化学任务拆分到结构重建、科学解释、候选选择和数值预测,呈现模型在不同环节的能力差异。
主题
正文 · AI 翻译
OpenAI 于 2026 年 11 月 20 日推出了 MedChemBench,这是一个包含 99 道题的药物化学基准,并报告称 GPT-6.2 Astra 在 xhigh 推理强度设置下获得了 84.5% 的可用分数。该基准测试模型能否将分子结构与实验证据联系起来,以解释结果、比较化合物并预测性质。
其他已公布的 xhigh 分数分别为:GPT-6 Astra 83.3%、GPT-6.1 Sol 82.0%、GPT-5.6 Sol 58.2%。该基准针对药物化学中的一个核心难题:一种化合物可能对疾病相关蛋白具有很强的作用,却吸收不良或代谢过快。因此,选择下一步要测试的对象需要权衡相互竞争的多种性质,而不是只优化一项指标。
技术论文描述了一组回顾性任务,取自 117 篇论文和专利,涵盖 761 个各自独立评分的分子结构。提示通常在研究项目的某个选定决策点截止,并提供生物学背景、先前的化合物以及部分实验结果。后续结果则被隐去,用于制定参考答案和评分标准。
这些任务涵盖临床前药物发现而非临床开发,共分为七类。其中包括 48 项综合先导化合物选择任务、26 项构效关系预测任务,以及规模较小的其他任务组,涉及 ADME(吸收、分布、代谢和排泄)与递送、分子设计与枚举、安全性与潜在风险、逆合成,以及测定生物学与作用机制。85 项任务横跨不止一个科学内容领域,这反映出先导化合物的选择可能同时取决于效力、选择性、细胞测定、代谢、暴露量和安全性。
一道与 PRMT5 有关的题目要求模型重建三种相关化合物,并预测其细胞效力、渗透性、外排和人肝微粒体清除率。PRMT5 是癌症药物发现研究中的一种蛋白质。被隐去的结果体现了其中的权衡:化合物 23 在细胞中的效力更强,而化合物 24 更容易穿过细胞屏障,并且在肝酶测定中的分解速度更慢。
评分结合了确定性检查和由模型评判的评分细则。分子结构和科学论证分别占可用分数的 37.49% 和 35.78%;排序与候选化合物选择占 17.51%,数值或分类预测占 8.92%。在结构评分方面,RDKit 会将提交的 SMILES(一种分子图的文本表示形式)转换为规范化异构形式,同时保留立体化学信息和同位素信息。数值预测通常根据倍数误差获得部分分数,另有一个在 medium 推理强度下运行的 GPT-6 Astra 评判模型,将科学论证标准评为零分、半分或满分。
分项结果与结构错误
论文涵盖 11 个 GPT 模型和 61 种模型—推理强度组合,共报告了 60,390 个已评分回答;每种组合针对每项任务均保留了十个回答。GPT-6.2 Astra 不在这 11 个模型之列;它的结果来自公告。
论文报告称,在 xhigh 设置下,GPT-6 Astra 获得了 95.37% 的可用分子结构分数和 91.05% 的科学论证分数,相比之下,排序与候选化合物选择得分为 50.42%,数值预测得分为 47.02%。这些分项适用于不同的任务和评分规则,但结果显示,模型在重建和解释方面表现强劲,而在化合物选择和定量预测方面相对较弱。
论文所述的一项重建任务具体展示了这些结构差异。模型必须用一个中心结构和两个连接基团组装出一种分子,同时保留一个 18 原子环。GPT-6 Astra 在十个 xhigh 回答中全部生成了正确的化合物,而 GPT-5.6 Sol 和 GPT-5.6 Luna 各自的十个回答均告失败。图示中的 Sol 答案包含一个 15 原子环,而 Luna 返回了两个互不相连的片段。此类错误会在任何性质推理开始之前就改变分子的身份。
局限性与拟议扩展
OpenAI 表示,这些分数并不能证明模型能否发现新药或改善实验室决策。每个答案都只是一次不使用工具、反馈或新实验的单次尝试,而且任务使用的是历史证据,而非前瞻性发现。也无法排除模型此前接触过已发表来源的可能性。
作为一项启发式检查,作者在 xhigh 设置下,针对九个模型为全部 99 条提示添加了来源 DOI 或专利标识符。平均总分的变化范围从下降 0.23 个百分点到上升 0.80 个百分点,且每个模型的 95% 置信区间均包含零。这项检查无法确定相关来源材料是否曾出现在训练数据中。
论文称,目前形式的 MedChemBench 已接近饱和,并指出开放式设计和合成任务的评分仍有一部分依赖参考答案,这可能会使合理的替代方案受到扣分。拟议的扩展包括前瞻性案例、由专家裁定替代答案、明确处理测定不确定性,以及允许进行检索、计算、结构验证和多步骤修订的智能体式评测赛道。
因此,MedChemBench 将化学理解能力与已经得到证明的药物发现实际影响区分开来。其最强的结果集中在重建和解释固定的历史问题上,而化合物选择和数值预测则相对落后。拟议的前瞻性评测和智能体式评测旨在解决由此产生的开放问题:当模型必须收集证据、计算性质并通过多个步骤修订答案时,它们能否作出更好的研究决策。
AI 热点