AI 热点

热点事件

Redwood Research开展AI安全研究破坏识别实验

1 篇正式报道1 条事件动态更新于 11月21日 07:28

先了解这件事

AI 综述

Redwood Research让人类专家秘密破坏AI安全研究,并要求审计员检查完整研究日志。实验涵盖22条研究记录、33种具体破坏机制,25名人类审计员完成104次审计;人类审计的AUROC为0.59,完整识别17%的破坏机制,并完全遗漏74%。Claude Fable 5.1和GPT-6 Astra的机制识别得分分别为37.1%和32.6%,高于人类的21.9%,但仍遗漏多数破坏。Redwood Research同时指出,样本均来自一名研究者、置信区间很宽,且破坏者预先知道正常实验结果。目前没有其他有证据的发展。

AI 根据公开报道生成

最新进展 · 正式报道

Redwood Research:审计员难以发现AI安全研究全流程记录中的蓄意破坏

事件进展

1 个已确认进展

  1. Redwood Research开展AI安全研究破坏识别实验

    来源:Redwood Research:Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月21日

  1. Redwood Research:Blog一手精选

    Redwood Research:审计员难以发现AI安全研究全流程记录中的蓄意破坏

    Redwood Research 让人类专家秘密破坏AI安全研究,再要求审计员检查完整研究日志;人类审计的AUROC仅为0.59,完整识别的破坏机制占17%,并完全遗漏74%。实验包含22条研究记录和33种具体破坏机制,25名人类审计员完成104次审计;Claude Fable 5.1与GPT-6 Astra的机制识别得分分别为37.1%和32.6%,高于人类的21.9%,但仍遗漏多数破坏。研究同时指出样本均来自一名研究者、置信区间很宽,且破坏者预先知道正常实验结果。

关联事件

  1. 相关事件Thinky Machines发布Inkling 2 Mini
  2. 相关事件OpenAI分享对抗模型蒸馏与推理提取研究
  3. 相关事件Anthropic推出Claude Fable 5.2与Claude Mythos 5.2
  4. 相关事件Apple研究提出KL正则化对齐的信息论极限