←事件详情

热点事件

Anthropic开发三个自主对齐审计智能体

1 篇正式报道1 条事件动态更新于 10月13日 20:33

先了解这件事

AI 综述

Anthropic 开发了三类自主执行对齐审计任务的智能体,并用三个审计游戏环境评估其表现。据其对齐科学博客介绍,工具型调查智能体在 Marks 等人的审计游戏中真实条件下解出率为 13%,通过外层智能体聚合多份报告后提升到 42%;评估智能体在 88% 的运行中能区分植入行为的目标模型与基线模型;广度优先红队智能体发现 7/10 的植入测试行为。这些智能体已用于 Claude 4 等前沿模型的对齐审计,Anthropic 同时开源了评估智能体的复现实现、调查与红队智能体的提示词及示例记录。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Anthropic 构建并评估对齐审计智能体

事件进展

1 个已确认进展

  1. Anthropic开发三个自主对齐审计智能体

    来源:Anthropic Alignment Science Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月13日

  1. Anthropic Alignment Science Blog一手精选

    Anthropic 构建并评估对齐审计智能体

    Anthropic 开发了三类自主执行对齐审计任务的智能体,并用三个审计游戏环境评估其表现。工具型调查智能体在 Marks 等人的审计游戏中真实条件下解出率 13%,通过外层智能体聚合多份报告后提升到 42%;评估智能体在 88% 的运行中能区分植入行为的目标模型与基线模型;广度优先红队智能体发现 7/10 的植入测试行为。这些智能体已用于 Claude 4 等前沿模型的对齐审计,Anthropic 同时开源了评估智能体的复现实现、调查与红队智能体的提示词及示例记录。

关联事件

  1. 相关事件Anthropic 提出内省适配器方法
  2. 相关事件Berkeley RDI 发布端到端网络安全基准 CyberGym-E2E
  3. 相关事件OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra
  4. 相关事件Goodfire公布奖励黑客激活探针研究