←新闻详情

Unite.AI更新于 10月25日 08:38

微软 MAI-DxO 诊断系统在 Science 研究中准确率超过全科医生

Microsoft Diagnostic AI Outperforms Generalist Physicians in Science Study

AI 导读

微软 MAI-DxO 诊断系统在发表于 Science 的同行评审研究中,对《新英格兰医学杂志》病例记录的诊断准确率为 83.2%,使用参考资源的全科医生为 36.1%。研究提出 Sequential Diagnosis Benchmark(SDBench),将 304 个期刊病例和 325 个 MIMIC-IV-ED 急诊病例转为可逐步提问、开检查的分步诊断任务,并按准确率和检查成本计分。DxO 搭配 GPT-5 在无预算约束下平均每例成本 5,431 美元,作者同时说明该对比不涉及专科医生、多学科团队或真实临床实践。

推荐理由

精选AI 评分 85

论文给出分步诊断基准与成本约束下的准确率对比,可看多智能体编排在临床推理中的实际增益。

主题

标签

正文 · AI 翻译

微软的 MAI-DxO 诊断系统在一项同行评审研究中,于复杂诊断病例上的表现优于参与研究的全科医生。该研究于 2026 年 10 月 22 日发表在《科学》(Science)上,报告称该系统在《新英格兰医学杂志》病例记录上的准确率为 83.2%,而使用参考资源的医生为 36.1%。

这项名为《Sequential diagnosis with language models》的研究发表于《科学》第 394 卷第 6822 期,第 423–428 页;于 2026 年 4 月 4 日收稿,2026 年 8 月 10 日录用。全部 15 位作者均为微软员工,名单中包括微软 AI 首席执行官 Mustafa Suleyman,以及 Dominic King 和 Eric Horvitz。在同日发布的公告中,微软表示该成果“于今日发表在《科学》上”,收录于该刊的“AI in Medicine”专刊。

该论文提出了顺序诊断基准(Sequential Diagnosis Benchmark,简称 SDBench),将 304 个《新英格兰医学杂志》临床病理讨论会病例以及来自 MIMIC-IV-ED 数据集的 325 次急诊就诊至入院记录,转换为可交互的分步诊断任务。每个病例都以一段简短的临床简介开始,诊断者——无论是医生还是 AI 系统——可以据此询问病史或检查相关问题、开具诊断检查,或给出最终诊断。评分依据包括与参考诊断相比的诊断准确率,以及所开具检查的累计估算成本。

两个辅助智能体为每次接诊提供结构化支持。一个Gatekeeper智能体负责将每一次信息请求与底层病例记录进行比对,并在所请求的检查结果不存在时生成诊断学上中性的合成结果,从而使数据缺失本身不构成答案线索。一个Judge智能体依据由医生撰写的五级评分量表,将最终提交的诊断与参考诊断进行评分比对,其中评分为4或5分、即代表治疗管理不会因之改变的诊断,计为正确。检查成本采用基于CPT的定价估算,价格来源于Kaiser Permanente Washington Central Hospital Standard Charges文件,病史询问与体格检查问题则折算为固定的医生就诊成本。

在该基准测试中,作者评估了Microsoft AI Diagnostic Orchestrator(论文中缩写为DxO)。这是一个与模型无关的系统,它模拟由互补角色组成的临床专家小组,在每一步都贯彻注重成本的检查节约原则,并汇总多次独立运行的诊断结果。微软的公告将该系统描述为如同一个由虚拟医生组成的小组,经过多轮辩论后得出结论。作者认为,静态基准测试会一次性提供全部病例信息并要求给出单一答案,因而无法衡量一个系统是否会提出正确的问题、是否避免不加区分地开具检查,或者是否能识别出自己已有足够把握来结束检查流程。

在临床病理学会议病例上,DxO 搭配 GPT-5 并在无预算约束下运行,达到了 83.2% 的准确率,平均每例成本为 5,431 美元。成本受限配置分别以 2,241 美元达到 80.9% 的准确率、以 1,303 美元达到 79.6%,而以诊断卓越为目标的配置以 8,945 美元达到 84.5%。在随附的医生研究中,该研究基于从工程工作中留出的 56 个病例开展,参与者共给出 764 次闭卷诊断和 662 次开卷诊断,闭卷平均准确率为 22.3%、每例成本 3,049 美元,开卷平均准确率为 36.1%、每例成本 4,725 美元。表现最好的单名医生达到 51.8%。论文还报告了不同的检查风格:医生在开具第一项检查前平均提出 5.6 个问题,而搭配 GPT-5 的 DxO 平均提出 25.5 个问题,作者将这一策略描述为广泛的结构化病史采集。

在急诊科病例上,无预算约束的 DxO 达到了 80.3% 的准确率,每例成本 4,979 美元;在预算约束下以 2,634 美元达到 73.2%。全科医生平均为 46.8%,成本 3,400 美元,表现最好的单名医生达到 62.5%。在所有以最小基线提示测试的模型中,DxO 编排在会议病例上将诊断准确率平均提高了 7.9 个百分点,在急诊科病例上提高了 4.4 个百分点。微软的公告称,在评估过的其他人类或 AI 方法中,没有一种能同时比 MAI-DxO 更准确且成本更低;公告将该系统描述为在急诊科病例展示上比医生准确 1.7 倍,在期刊病例上比使用教科书和互联网的医生准确两倍以上,比在没有这些资源的情况下进行诊断的医生准确近四倍,而成本仅为后者的二分之一到三分之一。

DxO 最初是在 GPT-4.1 为当时最强可用模型时开发的,随后用 GPT-5 进行了评估,并在发表前用 GPT-5.5 重复了完整评估套件,且未修改提示词或编排,其相对于基线提示词的准确率优势有所扩大。该工作的早期版本于 2025 年 6 月 27 日作为预印本发布,报告使用 OpenAI 的 o3 模型达到 80% 的准确率,是医生平均 20% 的四倍,在最高准确率配置下为 85.5%;同行评审版本增加了急诊科病例集,并加入了使用 GPT-5 和 GPT-5.5 的更新评估。

所述局限性与作者披露

作者指出,这些比较并未显示其优于专科医生、多学科团队或真实世界临床实践,并写道,他们预计在与专家专科医生或针对每个病例匹配的团队对比时,性能差距会缩小。他们指出,所测得的优势是在受控模拟中被放大的,该模拟排除了不确定的患者病史、不完整的文档记录、医患关系、纵向随访以及影像和病理切片等多模态数据,并且期刊病例可能过度代表了诊断上具有挑战性的表现。另一项所述局限是与个体医生而非多学科协作进行比较,且 Judge 评分标准在疾病层面评估诊断正确性,而非治疗适当性、安全性或纵向管理。

在论文的披露声明中,作者表示他们所有人都是微软员工并持有该公司股权,其中数人是微软一项与序贯诊断自动评估框架相关的专利申请的发明人,且这些研究未获得微软以外的任何资金。

微软表示,将针对部分 NEJM 病例开源 SDBench,包括基准、Gatekeeper、Judge 和成本估算代码。相关代码以 MIT 许可证在 GitHub 上提供,其中名为“science”的配置固定了论文结果所用的 gatekeeper 和 judge。根据 SDBench 项目网站,源自该期刊病例的数据集需要获得 NEJM Group 的许可,MIMIC 子集通过 PhysioNet 分发且需通过资质认证,另有五个完全合成的病例作为默认开放数据集随附发布。

一份配套立场文件《医疗超级智能:基础与愿景》提出了医疗智能的六个相互依存的维度,并指出,跨越医疗超级智能的门槛将需要“不仅仅是孤立任务上的超人表现”,即系统需在覆盖整个诊疗过程的综合医学推理上超越当今最强的人类主导卫生系统。微软的公告称,该论文发表在 BMJ Digital Health and AI 上。该公司还表示,正在将微软各健康团队——包括微软研究院的科学家以及 Dragon Copilot 和 PowerScribe 背后的团队——整合到微软 AI 的一项统一工作中,并提到了此前宣布的妙佑医疗国际合作;根据 2026 年 6 月 2 日的公告,这些机构正在开发一个医疗健康领域的前沿 AI 模型,该模型将由妙佑医疗国际拥有,微软计划通过 Azure Foundry API 提供。

通过与波士顿贝斯以色列女执事医疗中心的新合作,微软表示将在一项前瞻性研究中评估医院环境下的临床推理能力,患者将直接与系统交互,并将系统表现与医生的独立评估进行对比衡量。

来源

Unite.AI