AI News

OpenAI 与 ApolloResearch、METR 等四家机构开展嵌入评估

OpenAI更新于 11月17日 00:13

We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal model

AI 导读

OpenAI 宣布与 ApolloResearch、METR_Evals、TransluceAI 和 GoodfireAI 合作开展嵌入评估,让外部专家深入访问其内部模型和系统,以调查对齐问题并测试安全防护措施。ApolloResearch 将评估模型是否会暗中违背开发者意图以及防护措施能否发现;METR_Evals 将调查其迄今最大规模强化学习运行中的失准行为,并已初步同意在就范围达成一致后进行更广泛的监控评估。TransluceAI 将评估后训练对齐评测的质量与覆盖范围并计划在 2027 年扩大试点,GoodfireAI 则派驻可解释性研究人员用其平台分析模型内部,聚焦训练运行监控、调试与对齐。

推荐理由

AI 评分 62

OpenAI 把内部模型与系统开放给四家外部机构做嵌入评估,读者可了解各家分别查什么、边界在哪。

主题

标签

正文 · AI 翻译

我们正与 @ApolloResearch、@METR_Evals、@TransluceAI 和 @GoodfireAI 合作开展嵌入式评估:让外部专家深入访问我们的内部模型和系统,以调查对齐问题并测试我们的安全防护措施。

这些评估建立在我们持续进行的对齐与安全研究基础之上,为如何识别和管理我们系统中的风险引入独立审查。

https://t.co/SNAAG0uHmp

来源

OpenAI