METR 与 Redwood Research 试点审查 OpenAI 内部监控系统，发现多处新漏洞

OPENAI.FG

非营利评估机构 METR 和 Redwood Research 周四表示，他们对 OpenAI 的内部监控系统进行了一次试点审查，这是这家人工智能公司为确定如何深化与第三方安全组织合作所做的最新努力。

METR 和 Redwood 表示，此次演练旨在让 OpenAI 测试向外部研究人员提供对其内部基础设施“深度访问权限”会是什么样子。

从 7 月 21 日到 8 月 11 日，两家机构各有一名员工获准接触 OpenAI 的内部代码库、文档和部分技术人员。根据一份新闻稿，这些员工在现场期间有人陪同，并使用 OpenAI 发放的设备，这些设备“从未离开过办公场所”。

评估人员发现了若干“新漏洞”，其中包括一种能让智能体规避对近期“数百”个操作进行监控的利用方式。根据该新闻稿，OpenAI 告诉 METR 和 Redwood，它已修复了所发现的、影响其生产防护的漏洞。

METR 和 Redwood 表示，他们同意只就发现发布一份高层级的公开说明，因为此次试点并非旨在“就 OpenAI 的监控系统提供强有力的公开透明度”。他们向 OpenAI 提交了一份 61 页的内部报告，并表示预计未来会公开分享更多关于后续演练的细节。

OpenAI 一位发言人在给 CNBC 的一份声明中表示：“此次合作建立在我们在开创第三方测试新方法方面的长期承诺之上，我们正在利用所学到的经验来加强我们的防护措施，并塑造未来与独立评估机构的合作。”

OpenAI 首席执行官 Sam Altman 在 9 月承诺给予独立评估机构“类似员工的访问权限”，此前 Anthropic 首席执行官 Dario Amodei 提出了这一想法，作为其减缓 AI 发展步伐计划的一部分。Anthropic 此后宣布与埃森哲、METR 和 SecureBio 等组织达成协议。OpenAI 本月早些时候表示，它正在“积极敲定与第三方安全评估机构的合同”。

美国总统 Donald Trump 对 AI 监管采取宽松态度，他也对第三方评估表示支持。他在白宫提出的一项自愿协议中鼓励 AI 公司“与独立的外部审计师或评估机构合作”。Anthropic 的 Amodei 签署了该协议，Google、Meta、OpenAI、SpaceX 和 Nvidia 的高管也签署了该协议。

独立评估机构历来处于这个价值数万亿美元的 AI 行业中相对安静的角落，因此专家告诉 CNBC，关于这些机构将如何获得资金以及它们的汇报结构最终会是什么样子，仍存在疑问。

METR 和 Redwood 周四表示，他们在为期三周的试点期间对 OpenAI 的内部失准监控系统进行了压力测试。在 AI 领域，对齐（alignment）是研究人员用来描述模型行为是否符合人类利益和价值观的说法。

评估人员评估了截至 7 月 21 日及之前存在的监控系统，并指出 OpenAI 在演练期间正在扩展该系统。

观看：OpenAI 前高层员工为估值 15 亿美元的国防初创公司筹集资金立即观看视频32:1532:15OpenAI 前高层员工为估值 15 亿美元的国防初创公司筹集资金科技在 Google 上选择 CNBC 作为您的首选来源，不错过最值得信赖的商业新闻中的任何时刻。