←新闻详情

Artificial Analysis更新于 10月25日 23:59

Anthropic 医疗回答更全,OpenAI 更准更简洁

On MLCR-AA and HealthBench Professional, Anthropic models give the most complete answers but OpenAI models are more accurate and concise

AI 导读

Artificial Analysis 在 MLCR-AA 与 HealthBench Professional 上对比 14 个模型:Claude Sonnet 5.5、Opus 5.5、Fable 5.1 包揽 MLCR-AA 完整性前三,领先最佳 OpenAI 模型约 19-23 分,Opus 与 Sonnet 的 HealthBench Professional 原始分达 71.4% 和 70.8%,略高于 GPT-6 Astra 的 69.7%。OpenAI 模型则占据 MLCR-AA 准确率前列,Anthropic 模型单次回答篇幅约为 OpenAI 的 4-6 倍,准确率仅 19-61%,而 OpenAI 为 89-97%。GPT-6 Astra(max)在 MLCR-AA 上与 Claude Sonnet 5.5 并列第一,并在 HealthBench Professional 长度调整分上小幅领先;Claude Opus 5.5 则从原始分第一跌至长度调整分第六。

正文 · AI 翻译

在 MLCR-AA 和 HealthBench Professional 上,Anthropic 模型给出的回答最完整,但 OpenAI 模型更准确、更简洁

我们对比了 14 个模型在 MLCR-AA(我们为 @wisedocsai 的 Medical Long Context Reasoning 基准打造的排行榜)和 @OpenAI 的 HealthBench Professional 上的结果。MLCR-AA 从完整性(覆盖专家答案的每一个要点)和准确性(没有任何与病历相矛盾的陈述)两方面为关于长病历的回答打分,其得分要求两者兼备。HealthBench Professional 依据医生撰写的评分细则为面向临床医生的回复打分:原始分是所获评分细则要点的占比,而长度调整分则对较长的回答予以扣分。

主要结论:

➤ Anthropic 模型在完整性和原始分上领先:来自 @AnthropicAI 的 Claude Sonnet 5.5、Opus 5.5 和 Fable 5.1(均为 max 加 fallback)占据 MLCR-AA 完整性得分前三名,领先最佳 OpenAI 模型约 19-23 分,且 Opus 和 Sonnet 拿下最高的 HealthBench Professional 原始分(71.4% 和 70.8%),略高于 GPT-6 Astra(69.7%)

➤ OpenAI 模型在准确性和简洁性上领先:OpenAI 模型占据 MLCR-AA 准确率得分前列。较长的回答更不容易被评为准确,因为每多一个陈述就多一次与病历相矛盾的机会:Anthropic 模型每次回答的篇幅约为 OpenAI 模型的 4-6 倍,准确率得分仅为 19-61%,而 OpenAI 为 89-97%

➤ 在兼顾两者的得分上差距缩小:GPT-6 Astra(max)在 MLCR-AA 上与 Claude Sonnet 5.5 并列第一,并在 HealthBench Professional 长度调整分上小幅领先,而 Claude Opus 5.5 则从原始分第一跌至长度调整分第六

来源

Artificial Analysis