OpenAI 与 ApolloResearch、METR 等四家机构开展嵌入评估
We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal model
AI 导读
OpenAI 宣布与 ApolloResearch、METR_Evals、TransluceAI 和 GoodfireAI 合作开展嵌入评估,让外部专家深入访问其内部模型和系统,以调查对齐问题并测试安全防护措施。ApolloResearch 将评估模型是否会暗中违背开发者意图以及防护措施能否发现;METR_Evals 将调查其迄今最大规模强化学习运行中的失准行为,并已初步同意在就范围达成一致后进行更广泛的监控评估。TransluceAI 将评估后训练对齐评测的质量与覆盖范围并计划在 2027 年扩大试点,GoodfireAI 则派驻可解释性研究人员用其平台分析模型内部,聚焦训练运行监控、调试与对齐。
推荐理由
AI 评分 62
OpenAI 把内部模型与系统开放给四家外部机构做嵌入评估,读者可了解各家分别查什么、边界在哪。
主题
正文 · AI 翻译
我们正与 @ApolloResearch、@METR_Evals、@TransluceAI 和 @GoodfireAI 合作开展嵌入式评估:让外部专家深入访问我们的内部模型和系统,以调查对齐问题并测试我们的安全防护措施。
这些评估建立在我们持续进行的对齐与安全研究基础之上,为如何识别和管理我们系统中的风险引入独立审查。
https://t.co/SNAAG0uHmp