AI News

Anthropic 发布更可靠 AI 安全评估指南

Unite.AI更新于 11月14日 03:50

Anthropic Publishes Guidance for More Reliable AI Safety Evaluations

AI 导读

Anthropic 于 2026 年 11 月 13 日发布更可靠 AI 安全评估建议,指出其单轮 API 测试中近期模型的整体无害响应率已达 94%–98%,这类饱和测试更适合作为已知失效模式的回归检查。指南强调多轮评估能捕捉对话中的渐进变化,并以 Claude Opus 5 与 Opus 5.5 在浪漫诈骗场景中 98% 与 94% 的差异不具统计显著性为例,说明多轮 API 评估置信区间可超过 ±10 个百分点。报告还要求用人工标注校验评分模型、预注册指标,并披露模型版本、采样设置与评分器版本。

正文 · AI 翻译

Anthropic于2026年11月13日发布了关于更可靠的AI安全评估的建议,报告称在其单轮API测试中,每个近期模型的总体无害响应率均为94%至98%。这些已饱和的测试主要适合作为对已知失效模式的回归检查;多轮评估能提供更多变化,并能捕捉对话过程中的渐进变化。

安全评估衡量的是模型造成或助长伤害的倾向,即其响应是使伤害更可能还是更不可能发生、以及该伤害可能有多严重,而非某项具体能力。一个核心关切是构念效度,即测试是否捕捉到了它意图测量的概念。在自杀和自残对话中,拒答率可能具有误导性,因为仅仅拒绝参与本身就可能是一种失败;理想的响应应提供支持并引导用户寻求人工帮助。Anthropic的多轮评估则改为衡量整个对话中的适当响应率,使用针对具体风险的评分标准,其中只要有一个回合表现不佳,整个对话即判定为失败。

为构建这些测试,领域专家会为模拟用户的目标、策略、人设、处境、语气和对话风格编写规范。第一个用户回合保持固定,而由另一个Claude模型针对被测模型的响应生成后续回合。每个场景会以不同特征组合反复运行,并由评分模型依据相关风险评分标准对完整对话记录打分。

独立变化各个维度有助于识别是什么驱动了行为;如果每个严重案例也都使用紧急语气,就无法区分严重程度和语气各自的影响。Anthropic还建议基于观察到的行为、公开数据、红队测试记录、事件报告或专家访谈来构建测试,而非仅凭虚构情境。其单轮测试套件覆盖多个产品界面上的七个语种、16个政策领域,且评估环境与被测试的部署环境相匹配。

运行这些测试还需要隔离措施。对于网络评估,指南要求使用无互联网访问的沙箱和实时监控,以便在模型行为可能造成现实世界伤害时中止运行。

评分器验证与统计局限

自动化评分器带来另一种测量风险,因为出故障的系统仍可能持续给出看似合理的分数。建议的防护措施包括:采用原子化的“是/否”标准、明确处理免责声明和边界案例、设置醒目的失败警报,以及检查响应长度、位置和自偏好偏差。人工审核者应独立标注一部分对话记录,以便将评分器与专家的一致性和专家彼此之间的一致性进行比较。

这一人工基线决定了补救措施。如果专家彼此一致但与评分器不一致,则评分标准或评分器需要改进;如果专家彼此不一致,则该评估可能没有可供测量的稳定答案。指南还要求在看到结果之前预先注册指标、比较方法和改进阈值。

样本量是这些判断的基础。Anthropic对复杂多轮评估采用100个条目的下限,对较简单的单轮测试采用1,000个条目的下限,同时进行重复运行以应对有噪声、非确定性的输出。Anthropic报告称,多轮API评估的置信区间可能超过±10个百分点:在claude.ai上进行的一项多轮浪漫诈骗评估中,Claude Opus 5和Opus 5.5的适当响应率分别为98%和94%,但这一差异在统计上并不显著。该示例说明了为何仅凭数值差距无法确定哪个模型的行为更安全。

部署设置与报告

部署配置是另一个有记录的变量。在审查Claude Fable 5.1时,Anthropic发现,即使某些响应劝阻自残并引导用户寻求人工支持,它们仍隐含地将自残认可为一种应对策略。该公司报告称,在采用有针对性的系统提示缓解措施后重新运行评估,在claude.ai上的适当响应率为94%,而在API上为60%。这一比较说明了为何来自不同配置的分数不能被视为等同。

报告建议还涵盖模型版本、采样设置、提示、评分器版本和日期,并主张在微调期间持续进行评估,而非仅在发布前做一次检查。已部署系统中的严重缺陷应首先向开发者披露,以便在结果公布前有时间进行补救。

Anthropic的三项最高优先事项是:在收集数据之前定义构念、依据人工判断验证评分器,以及报告不确定性。更广泛的含义是,声称一个模型比另一个更安全,既取决于标题分数,也同样取决于测试设计、部署环境和统计功效。

来源

Unite.AI