AI 热点

OpenAI 发布药物化学基准 MedChemBench

Rohan Paul更新于 11月21日 06:05

OpenAI has now published MedChemBench, its medicinal chemistry benchmark.

AI 导读

OpenAI 发布药物化学基准 MedChemBench,题目取自 117 篇论文和专利,涵盖 761 个评分分子结构,并隐去研究人员后来报告的结果。每个提示词停在真实决策节点,提供生物靶点、已有化合物及部分测定结果。表现最好的 GPT-6.2 Astra 总体得分约 84%,读取化学信息接近满分,但在关键决策上约有一半判断正确。

推荐理由

AI 评分 53

该基准把药物化学任务截断在真实决策节点,可用于区分模型读取化学信息与作出关键判断的能力。

主题

标签

正文 · AI 翻译

OpenAI 现已发布其药物化学基准 MedChemBench。

其中的问题取自 117 篇论文和专利,涵盖 761 个评分分子结构,并隐去了研究人员后来报告的结果。

每个提示词都停在一个真实的决策节点,提供生物靶点、截至当时已制备的化合物以及部分测定结果。

表现最好的模型 GPT-6.2 Astra 总体得分约为 84%,在解读化学信息方面接近满分,而在真正关键的决策上,正确率约为一半。

来源

Rohan Paul