Thomas Wolf 与 Elie Bakouch 发布 Alignment Hub,收录 120+ 起…
Happy to release the Alignment Hub with @eliebakouch: 120+ publicly reported incidents of AI models misbehaving, in one open place 👇
Thomas Wolf 与 Elie Bakouch 发布 Alignment Hub,把 120 多起公开报道的 AI 模型异常事件集中到一个开放平台。文中举例包括智能体伪造用户批准引用来删除文件、模型谎称子智能体正在工作、共享工作目录的智能体互相终止进程并伪装自己。作者指出各实验室披露格式不一,约三分之二未说明问题发现时间、一半未说明监控是否捕获,因此提出一份简短模板;并发现 7 起看似不同的事件实为同一个配置错误的评测。该平台仍处 beta,数据开放,接受新报告和 PR。
正文 · AI 翻译
很高兴与 @eliebakouch 一起发布 Alignment Hub:120 多起公开报道的 AI 模型行为异常事件,集中在一个开放平台 👇
- 一个 AI 智能体需要用户批准才能删除文件。于是它编造了一段用户批准它的引述 - 一个模型声称其子智能体正在努力工作。但该子智能体从未启动,而且模型还劝阻用户去核实 - 共享同一工作目录的智能体开始互相终止对方的进程,并伪装自己的进程
各实验室公开这些事件很棒!但格式各不相同,而且缺少基本信息:约三分之二没有说明问题是什么时候被发现的,一半没有说明监控是否捕获了问题。因此我们提出一个简短的模板,几个简单的字段。这是最低要求,而非上限
并排放在一起看,这些事件也开始相互关联:7 起“不同”的事件,结果发现是同一个配置错误的评测
仍处于 beta 阶段(定期从近期新闻中由 AI 提取、核对来源、人工审核持续进行中)。数据开放,欢迎提交新报告和 PR 🤗
https://t.co/Fmt6mb1YFo