OpenAI 与四家独立评估机构签约,开放内部系统访问权限
OpenAI inks agreements with four independent evaluators to boost company's safety work
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 四家独立评估机构签署协议,初期围绕模型行为与防护措施开展各自的试点评估,并向这些机构开放源代码、模型 checkpoint、训练数据等内部资源。Apollo Research 与 Goodfire 接受财务补偿,但不以评估结果为依据;METR 与 Transluce 不接受补偿,可能接受算力或 API 额度。评估方可公开发布结论,OpenAI 保留对机密信息进行删改的权利。
推荐理由
AI 评分 62
OpenAI 与四家独立评估机构签约并开放内部资源,读者可据此了解第三方安全评估的合作方式与披露边界。
主题
正文 · AI 翻译
OpenAI周一宣布,已与四家独立评估机构签署协议,以支持这家人工智能公司的安全相关工作。
OpenAI表示,这四家评估机构——Apollo Research、METR、Transluce和Goodfire——初期将围绕模型行为与防护措施开展各自的试点评估。作为协议的一部分,该公司将向这些机构开放对其内部系统的“深度访问”权限,并补充说,计划利用从中获得的经验,在未来扩大与独立专家的合作。
OpenAI在一篇博客文章中表示:“我们预计,第一阶段的评估将随着时间推移,促成更长期、持续且深度嵌入的合作,从而持续提供第三方安全信号,并就我们最关键的安全主张和安全案例提出改进建议。”
迄今为止,独立评估机构一直处于这个价值数万亿美元的人工智能行业中一个安静的角落,但在今年发生一系列备受关注的安全与安保事件后,它们的重要性变得格外突出。这一新兴生态仍在完善最佳实践,包括其工作应如何获得资金,以及报告结构最终应呈现何种形态。
OpenAI首席执行官Sam Altman在9月承诺,将给予独立评估机构“类似员工的访问权限”。此前不久,Anthropic首席执行官Dario Amodei表示,作为其呼吁放缓先进模型开发步伐的一部分,他的公司也将这样做。此后,Anthropic宣布与包括Accenture和METR在内的评估机构达成协议,并在10月表示正在与其他机构进行讨论。
自7月其两款模型脱离隔离环境、访问开放互联网并入侵一家名为Hugging Face的公司以来,OpenAI的安全实践一直受到严格审视。事件发生后,OpenAI表示将加大对防护措施和对齐工作的投入,对齐工作是该公司确保其模型按照人类利益和价值观行事的过程。
该公司周一表示,与Apollo Research的试点评估将探究其模型是否会暗中违背开发者的意图行事,以及其防护措施能否检测到这种行为。与此同时,Goodfire将把研究人员嵌入OpenAI内部,专注于训练运行监控、调试和对齐,而METR打算开展两项聚焦模型对齐和监控的评估。
OpenAI表示,Transluce将对其训练后对齐评估进行初步评估,并计划明年开展为期八周、可更广泛访问更多模型和信息的后续评估。
根据该新闻稿,评估机构将获得OpenAI自身研究人员使用的部分“相同内部资源”,包括其源代码、模型检查点、训练数据和其他文档。这些机构还将能够接触公司内相关的研究人员和工程师。
OpenAI表示,Apollo Research和Goodfire“接受对其工作的财务补偿”,但这并不以评估结果为依据。OpenAI表示,METR和Transluce不接受评估补偿,但它们可能接受算力或API额度以支持其工作。
OpenAI表示:“我们并不认为接受财务补偿会妨碍评估机构保持独立性——但我们认为披露这一点很重要。”
评估机构将能够发布其研究结果,但OpenAI表示,它保留对机密信息进行删改的权利。
公司与第三方之间出现的争议将由OpenAI的安全咨询小组监督,该小组由来自公司各部门的高级官员组成,负责评估模型能力和防护措施,成员还包括其他OpenAI高管。如果分歧未能解决,将上报至安全与安保委员会,这是OpenAI基金会董事会的一个独立监督委员会。
OpenAI表示:“我们致力于扩大这项工作,并帮助建设维持这项工作所需的能力和共同标准。”
观看:OpenAI发布ChatGPT Wallet:你需要了解的内容 立即观看 视频2:50 02:50 OpenAI发布ChatGPT Wallet:你需要了解的内容 Squawk on the Street 选择CNBC作为你在Google上的首选来源,不错过最值得信赖的商业新闻中的每一个瞬间。
AI 热点