Four general-purpose large models average 64.35 points on medical evaluation; AI consultations can only serve as an auxiliary
English text is being prepared.
Shanghai Observer reported that a journalist at the Medical Intelligence Center of Shanghai Artificial Intelligence Laboratory tested four general-purpose large models, domestic and foreign, using 36 evaluation sets and 1 million test questions, with an average score of 64.35. The head of the center said that a score in the 60s is mid-range, and that large models cannot be used directly in clinical practice and can only assist doctors. The report also mentioned that a parent refused an examination on the grounds that an AI diagnosis differed from the doctor's, and the child subsequently developed severe pneumonia; for the same case, when the input information differed in level of detail, the conclusions given by the AI varied greatly.
Why read this
AI score 59
The report uses the medical evaluation results of four general-purpose large models and cases of input differences to illustrate the capability boundaries and risks of AI consultations.
Topics
Body
有没有发现 自从家里长辈学会用AI, 简直像打开了新世界的大门? 一有头疼脑热, 先不急着跑医院问医生, 而是问AI, 让它给自己一个 “诊断方案”。 家长不信医生信AI 孩子变重症肺炎 最近, 一位 家长带着3岁孩子 前往浙江中医药大学附属 第一医院儿科就诊, 医生考虑孩子 是哮喘并发肺部感染 , 建议患儿做胸部x线等检查。 然而,家长却以AI给出的诊断 与医生不同为由, 拒绝接受进一步检查, 随后,家长带着孩子自行离开。 但没过几天, 这位家长再次带孩子前来就诊。 医生检查发现, 此时的患儿已发展为重症肺炎。 医生表示,现在看诊时 经常会碰到 有些家长 拿着咨询AI的结果 , 质疑医生: “你说的怎么跟AI说的不一样? ” 那么,通用AI大模型 到底能不能直接看病? AI问诊靠谱程度究竟如何? 四款通用大模型均分64.35 仅可作辅助 记者 带着疑问, 来到上海人工智能实验室 医学智能中心, (该中心建立了 国内首个面向医疗大模型 应用评测和验证平台) 对 国内外四款通用大模型 进行了一次“考试”。 评测员专门设计了 一套涵盖36个评测集、 100万道试题的标准化 题库 , 能够从医学知识问答、 复杂医学推理、 医疗安全和伦理等多个维度 对大模型的医学应用能力进行检测。 评测结果显示, 四款通用大模型 平均得分为64.35。 负责人表示 : “60多分属于中游, 在通用 的 模型里不算特别差。 但是第一, 大模型不能直接应用于临床, 只能辅助医生。 第二,对于公众来说, 榜单只是一个开源评测榜单, 给出的是模型目前的技术专业能力, 并不是临床应用能力。” 大模型具备的 医学知识和问答能力, 并不等于具备独立诊疗的能力, 更不意味着大模型可以取代医生。 AI问诊结果 取决于你的描述 AI的答案, 有多“看输入脸色”? 举个很直观的例子: 输入①:35岁男性,B超发现肝占位两周 输入②:35岁男性,肝占位两周,有15年乙肝病史、10年饮酒史,甲胎蛋白450(ng/ml) 两种输入方法, AI 给出结论差别很大。 第一种情况 AI提醒良性病变居多 第二种情况 AI提醒警惕癌变风险 专家表示, AI给出的回答 高度依赖用户给出的描述信息。 然而在医疗场景中, 受限于没有医学相关背景, 普通患者 往往很难精准描述病情, 漏说、误说 在实际问诊中十分常见。 这种信息表达的误差, 在医生面诊时 可以通过“望闻问切”逐步矫正。 复旦大学中文系教授严锋 也发文提到: “ 在向AI请教医学问题时, 它常常会有迎合人的倾向。” 对此,网友们也纷纷热议: “AI的说法不可尽信, 切勿讳疾忌医, 看病还是要遵从医生的专业判断。” 此外,记者调查还发现, 市面上不少App 里的AI“数字医生” 冒用专家身份, 为用户提供健康咨询服务, 医生本人并不知情。 对大模型来说, 厘清AI与医生的权责边界、划清健康咨询和诊疗问诊的红线,明确责任归属,才能在保障患者安全、规范产业发展的前提下,让AI医疗的技术潜力真正转化为公众的健康福祉。 对普通用户, 小侬友情提醒: AI可以成为我们查询健康常识的帮手,但绝不能替代面诊医生。 健康没有试错的余地 ,身体不舒服,及时就医才是最稳妥的选择。 你有没有试过AI问诊? 你认为它给出的判断靠谱吗? 【 侬好上海·韩佳艳 综合编辑 】 侬好上海(ID:helloshanghai2013) 综合 编辑, 转载请注明来源。 素材来源@央视新闻@中国新闻周刊,微博各路网友 。如有冒犯,敬请联系。 版权声明:未经授权谢绝转载。