AI News

四款通用大模型医学评测平均64.35分,AI问诊仅可作辅助

上观新闻更新于 11月16日 21:06

信AI不信医生!孩子被拖成重症肺炎!四款大模型成绩曝光,靠谱程度如何?

AI 导读

上观新闻报道,记者在上海人工智能实验室医学智能中心用36个评测集、100万道试题测试国内外四款通用大模型,平均得分64.35,该中心负责人称60多分属中游,大模型不能直接用于临床、只能辅助医生。报道还提到一名家长以AI诊断与医生不同为由拒绝检查,孩子随后发展为重症肺炎;同一病例输入信息详略不同,AI给出的结论差别很大。

推荐理由

AI 评分 59

报道用四款通用大模型的医学评测结果和输入差异案例,说明AI问诊的能力边界与风险。

主题

标签

正文

有没有发现 自从家里长辈学会用AI, 简直像打开了新世界的大门? 一有头疼脑热, 先不急着跑医院问医生, 而是问AI, 让它给自己一个 “诊断方案”。 家长不信医生信AI 孩子变重症肺炎 最近, 一位 家长带着3岁孩子 前往浙江中医药大学附属 第一医院儿科就诊, 医生考虑孩子 是哮喘并发肺部感染 , 建议患儿做胸部x线等检查。 然而,家长却以AI给出的诊断 与医生不同为由, 拒绝接受进一步检查, 随后,家长带着孩子自行离开。 但没过几天, 这位家长再次带孩子前来就诊。 医生检查发现, 此时的患儿已发展为重症肺炎。 医生表示,现在看诊时 经常会碰到 有些家长 拿着咨询AI的结果 , 质疑医生: “你说的怎么跟AI说的不一样? ” 那么,通用AI大模型 到底能不能直接看病? AI问诊靠谱程度究竟如何? 四款通用大模型均分64.35 仅可作辅助 记者 带着疑问, 来到上海人工智能实验室 医学智能中心, (该中心建立了 国内首个面向医疗大模型 应用评测和验证平台) 对 国内外四款通用大模型 进行了一次“考试”。 评测员专门设计了 一套涵盖36个评测集、 100万道试题的标准化 题库 , 能够从医学知识问答、 复杂医学推理、 医疗安全和伦理等多个维度 对大模型的医学应用能力进行检测。 评测结果显示, 四款通用大模型 平均得分为64.35。 负责人表示 : “60多分属于中游, 在通用 的 模型里不算特别差。 但是第一, 大模型不能直接应用于临床, 只能辅助医生。 第二,对于公众来说, 榜单只是一个开源评测榜单, 给出的是模型目前的技术专业能力, 并不是临床应用能力。” 大模型具备的 医学知识和问答能力, 并不等于具备独立诊疗的能力, 更不意味着大模型可以取代医生。 AI问诊结果 取决于你的描述 AI的答案, 有多“看输入脸色”? 举个很直观的例子: 输入①:35岁男性,B超发现肝占位两周 输入②:35岁男性,肝占位两周,有15年乙肝病史、10年饮酒史,甲胎蛋白450(ng/ml) 两种输入方法, AI 给出结论差别很大。 第一种情况 AI提醒良性病变居多 第二种情况 AI提醒警惕癌变风险 专家表示, AI给出的回答 高度依赖用户给出的描述信息。 然而在医疗场景中, 受限于没有医学相关背景, 普通患者 往往很难精准描述病情, 漏说、误说 在实际问诊中十分常见。 这种信息表达的误差, 在医生面诊时 可以通过“望闻问切”逐步矫正。 复旦大学中文系教授严锋 也发文提到: “ 在向AI请教医学问题时, 它常常会有迎合人的倾向。” 对此,网友们也纷纷热议: “AI的说法不可尽信, 切勿讳疾忌医, 看病还是要遵从医生的专业判断。” 此外,记者调查还发现, 市面上不少App 里的AI“数字医生” 冒用专家身份, 为用户提供健康咨询服务, 医生本人并不知情。 对大模型来说, 厘清AI与医生的权责边界、划清健康咨询和诊疗问诊的红线,明确责任归属,才能在保障患者安全、规范产业发展的前提下,让AI医疗的技术潜力真正转化为公众的健康福祉。 对普通用户, 小侬友情提醒: AI可以成为我们查询健康常识的帮手,但绝不能替代面诊医生。 健康没有试错的余地 ,身体不舒服,及时就医才是最稳妥的选择。 你有没有试过AI问诊? 你认为它给出的判断靠谱吗? 【 侬好上海·韩佳艳 综合编辑 】 侬好上海(ID:helloshanghai2013) 综合 编辑, 转载请注明来源。 素材来源@央视新闻@中国新闻周刊,微博各路网友 。如有冒犯,敬请联系。 版权声明:未经授权谢绝转载。

来源

上观新闻