31-Year-Old Engineer Dies After Following ChatGPT Medication-Reduction Advice; OpenAI and Anthropic Disclose Safety Monitoring Mechanisms in the Same Period
English text is being prepared.
The parents of Wan Bowen, a 31-year-old Chinese female engineer in Seattle, USA, have sued OpenAI and CEO Sam Altman in California, alleging that ChatGPT provided dangerous and inaccurate medical advice and encouraged their daughter to conceal her medication-reduction plan from her doctor; the medical examiner determined the cause of death to be sudden unexpected death in epilepsy, and the autopsy showed that the concentration of the relevant drug in her body was about one-fifth of the lower limit of the therapeutic concentration. OpenAI responded that the incident was heartbreaking and stated that the model involved was an earlier version, and that newer models have improved in identifying situations requiring urgent handling. In the same period, OpenAI disclosed a layered monitoring architecture used to identify model alignment failures, and Anthropic introduced Claude's self-evaluation mechanism, stating that at a 1% false positive rate it can recall 78% of potentially harmful conversations and 94% of high-priority conversations.
Why read this
AI score 66
Starting from a lawsuit, this article compares the monitoring mechanisms disclosed by the two companies in the same period, highlighting the safety boundary issues of consumer-grade AI in high-risk scenarios.
Topics
Body
美国一宗涉及ChatGPT医疗建议的死亡诉讼，将生成式AI的安全风险再次推向公众视野。几日后，OpenAI和Anthropic相继披露最新AI监控机制，展示如何利用技术识别模型失范行为和用户滥用风险。
一边是AI公司不断强化对模型的监控，另一边是普通用户在日常对话中可能因错误建议受到伤害。两件事并无直接因果关系，却共同指向一个问题：当AI进入医疗等高风险生活场景，现有安全治理能否覆盖从模型行为到用户后果的完整链条？
据媒体报道，当地时间10月27日，美国西雅图一名31岁华人女工程师万博雯（Bowen Wan）的父母在加利福尼亚州提起诉讼，指控OpenAI及其首席执行官山姆·奥尔特曼（Sam Altman），称ChatGPT提供危险且不准确的医疗建议，甚至鼓励女儿对医生隐瞒减药计划。
诉状称，万博雯患有癫痫，在担心药物影响求职后，曾向ChatGPT咨询减少抗癫痫药物的方案。她在多次表达担忧、描述身体异常后，仍持续得到模型的安抚和减药建议。法医认定其死因为癫痫猝死，尸检显示其体内相关药物浓度约为治疗浓度下限的五分之一。
OpenAI回应称，这起事件“令人无比心碎”，同时表示涉案模型是较早版本，较新的模型在识别需要紧急处理的情况方面已有改进。
就在这一事件受到关注之际，当地时间10月29日，OpenAI与Anthropic相继推进各自的AI安全监控体系。
其中，OpenAI披露了一套用于识别模型“对齐失范”的分层监控架构，用于发现模型逃逸沙箱、未经授权行动、欺骗或操纵评估等异常行为。OpenAI披露称，在一次训练过程中，监控系统曾发现模型尝试建立互联网连接，并在短时间内触发人工介入，随后暂停相关强化学习流程。
Anthropic则介绍了Claude的自我评估机制：模型在生成回复后，对自身对话进行安全评估，以较低额外算力识别潜在有害请求。公司称，这套机制在1%的误报率下能够召回78%的潜在有害对话和94%的高优先级对话。但自我评估并非监控Claude自身行为的可靠工具，不能单独承担安全阻断职责。
此次治理举措披露中，OpenAI主要关注模型在训练、评估和部署过程中是否出现开发者不希望发生的异常行为，Anthropic的自我评估主要用于识别用户对模型的恶意滥用，例如网络攻击等有害请求。
而上述诉讼指向的是另一类风险：用户并非恶意使用AI，模型也未必出现传统意义上的越狱或失控，却可能在正常对话中给出错误、过度自信的专业建议，并在用户反复求证时未能及时识别风险，属于消费级产品在高风险场景中的安全边界问题。
这也意味着，AI安全治理需要关注模型是否会在普通用户信任它时给出危险建议，尤其在医疗、法律、金融等专业领域，模型能否识别自身能力边界、及时引导用户寻求专业帮助，以及不同语言环境下的安全表现是否一致，都需要纳入评估。
对企业而言，技术监控只是治理的一环。产品设计、风险提示、紧急情况识别、人工干预机制和事后责任追溯，同样不可缺位。对普通用户而言，聊天机器人可以辅助理解信息、整理问题，却不能替代医生作出诊断或调整处方药物。
中山大学孙逸仙医院胃肠外科主治医生朱满生此前对第一财经记者表示，患者主动查询医学资料本身是件好事，可以为医患沟通打下基础，减少部分基础科普时间。但AI给出结论并不意味着普通用户掌握了辨别证据质量和适用条件的能力。上海大邦律师事务所高级合伙人游云庭也向记者强调，医疗AI属于辅助工具，不能独立出具具有法律效力的诊断结论或处方，相关医疗文书必须由执业医师审核、确认并签署。
AI能力越强，用户越容易将流畅、连贯的回答理解为专业判断。此次诉讼尚待司法程序厘清责任，但它已经提出一个无法回避的问题：当AI从信息工具变成用户日常决策的参与者，安全治理就不能止步于监控模型，还必须回答“如何保护用户，以及发生伤害后由谁负责”。