OpenAI 发布药物化学基准 MedChemBench
OpenAI has now published MedChemBench, its medicinal chemistry benchmark.
AI 导读
OpenAI 发布药物化学基准 MedChemBench,题目取自 117 篇论文和专利,涵盖 761 个评分分子结构,并隐去研究人员后来报告的结果。每个提示词停在真实决策节点,提供生物靶点、已有化合物及部分测定结果。表现最好的 GPT-6.2 Astra 总体得分约 84%,读取化学信息接近满分,但在关键决策上约有一半判断正确。
推荐理由
AI 评分 53
该基准把药物化学任务截断在真实决策节点,可用于区分模型读取化学信息与作出关键判断的能力。
主题
正文 · AI 翻译
OpenAI 现已发布其药物化学基准 MedChemBench。
其中的问题取自 117 篇论文和专利,涵盖 761 个评分分子结构,并隐去了研究人员后来报告的结果。
每个提示词都停在一个真实的决策节点,提供生物靶点、截至当时已制备的化合物以及部分测定结果。
表现最好的模型 GPT-6.2 Astra 总体得分约为 84%,在解读化学信息方面接近满分,而在真正关键的决策上,正确率约为一半。
AI 热点