先了解这件事
AI 综述
Anthropic 开发了三类自主执行对齐审计任务的智能体,并用三个审计游戏环境评估其表现。据其对齐科学博客介绍,工具型调查智能体在 Marks 等人的审计游戏中真实条件下解出率为 13%,通过外层智能体聚合多份报告后提升到 42%;评估智能体在 88% 的运行中能区分植入行为的目标模型与基线模型;广度优先红队智能体发现 7/10 的植入测试行为。这些智能体已用于 Claude 4 等前沿模型的对齐审计,Anthropic 同时开源了评估智能体的复现实现、调查与红队智能体的提示词及示例记录。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 构建并评估对齐审计智能体事件进展
1 个已确认进展
- 来源:Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手精选
Anthropic 构建并评估对齐审计智能体
Anthropic 开发了三类自主执行对齐审计任务的智能体,并用三个审计游戏环境评估其表现。工具型调查智能体在 Marks 等人的审计游戏中真实条件下解出率 13%,通过外层智能体聚合多份报告后提升到 42%;评估智能体在 88% 的运行中能区分植入行为的目标模型与基线模型;广度优先红队智能体发现 7/10 的植入测试行为。这些智能体已用于 Claude 4 等前沿模型的对齐审计,Anthropic 同时开源了评估智能体的复现实现、调查与红队智能体的提示词及示例记录。