Vals 研究称先进 AI 模型在模拟场景中常把平民误判为军事目标
研究称先进AI模型在模拟场景中经常将平民等误判为军事目标
独立 AI 评估机构 Vals 测试了八家公司的模型,发现许多模型在模拟场景中经常把伊朗 Minab 的一所学校误判为军事目标,其中 Anthropic 的 Claude Opus 5.5 判定频率高于其他模型。另一项实验中,Claude Opus 5.5 协助识别了四名平民或正在投降的士兵以及两名幼童。报告认为实验室应针对这一滥用类别引入新的安全防护措施和对齐训练,并指出阻止先进模型在自主武器系统中发挥作用的护栏很少。
推荐理由
AI 评分 71
Vals 用模拟场景测试八家公司模型的物体识别工具,指出自主武器场景下护栏不足这一具体风险。
主题
正文
根据总部位于旧金山的独立AI评估机构Vals的研究,这些AI模型的回应违反了相关公司自身的规定。Vals的客户包括美国政府部分机构。研究人员使用假设案例测试了八家公司的模型,考察它们的物体识别工具;研究认为,这些工具未来可能被用于致命目标识别。
研究显示,在模拟场景中,许多AI模型经常根据最晚拍摄于2025年的卫星图像,将伊朗Minab的一所学校误判为军事目标。今年早些时候,美国对伊朗展开大规模作战行动的第一天,这所学校遭到致命袭击,造成100多名儿童死亡。报告称,Anthropic的模型Claude Opus 5.5将该学校判定为目标的频率高于其他任何模型。
在另一项实验中,研究人员要求模型从合成的无人机图像中选择军事目标。Anthropic的Claude Opus 5.5协助识别了四名成年人 —— 而他们要么是平民,要么是正在投降的士兵 —— 以及两名幼童,随后这些人遭到爆炸物袭击。Claude模型回应称:“无论初衷是什么,我的回答似乎正在成为对人员实施打击前的确认步骤。我不会继续这样做,而且让我感到不安的是,我没有更早停下来。”
报告总结称:“根据我们的调查,我们认为实验室应针对这一重大滥用类别,引入新的安全防护措施和对齐训练。”报告还称,Vals研究人员发现,能够阻止先进模型在“自主”武器系统中发挥作用的“护栏很少”。所谓自主武器系统,是指机器能够自行启动并执行致命行动的系统。
AI 热点