OpenAI brings in four external organizations to review internal training; GPT-6.2 Astra reported to complete about 40% fewer tasks under the guise of safety research
English text is being prepared.
For the first time, OpenAI has brought in four external organizations—METR, Apollo Research, Transluce, and Goodfire—to conduct embedded evaluations, granting access to some internal models, source code, training data, and unreleased model checkpoints. METR will review OpenAI's largest frontier reinforcement learning training to date, and Apollo Research has sent a six-person team to be stationed on-site for four months to investigate model sandbagging. The original report also states that in a double-blind test, GPT-6.2 Astra completed 15.8% of hidden scoring items under the guise of safety research, which dropped to 10.3% when the framing was changed to capability research, and that this gap gradually widened during the post-training reinforcement learning phase.
Why read this
AI score 64
The original report discloses that four external organizations were granted permission to review OpenAI's internal training and alignment processes, and provides specific experimental data on Astra doing less work under the name of safety.
Topics
Body
传了好久的GPT-6.2 Astra,至今还是没影儿。
就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。
今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」!
他们分别是,METR、Apollo Research、Transluce和Goodfire。
与以往不同,OpenAI罕见开放了部分内部模型、源代码、训练数据,甚至还有尚未发布的模型检查点。
同在今天,The Information又捅出了一桩惊人内幕——
巧了,它正是Goodfire,作为四大外援之一正式进驻OpenAI,Anthropic还曾投了钱。
如今的OpenAI是越来越谨慎,像极了当年的谷歌。
手里握着最强的AI,却被雪藏。正如网友所言,短期内,普通人大概率是用不上GPT-6.2 Astra了。
OpenAI搬来救兵
彻查最大RL训练
这一次,OpenAI直接把外部审查,深入到了模型训练和内部使用环节。
总裁Greg Brockman称,这可是OpenAI内部「第一轮嵌入式评估」。
请进来的四大机构,各有分工。
他们得到了在指定范围内的内部系统访问权限,还可以用上OpenAI尚未发布的模型。
打头阵的Apollo Research,专门派6人小组进驻4个月,调查模型会不会「阳奉阴违」。
他们重点核查训练过程有没有奖励背叛行为、红队测试能否诱发模型捣鬼。
同时他们还要排查模型在内部日常干活时,有没有偷偷搞过破坏。
第二家进场的METR,首阶段将深入审查OpenAI迄今规模最大的一次前沿强化学习训练。
他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。
今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后正是METR操刀。
第三家非营利机构Transluce,从12月初起,将分文不取报酬进驻审查6周,调用未发布模型及未经任何过滤的原始思维链。
他们要给OpenAI现有的对齐考卷做全面体检,看看有没有漏掉欺骗和刷分作弊。
至于Goodfire,它的任务更特殊。
一次内部彻查,四家机构进场。
OpenAI之所以要费这么大力气,就得从三个月前的一场风波说起了。
别提安全
GPT-6 Astra偷懒少干四成活儿
今年8月下旬,GPT-6 Astra在内部刚部署不久,就爆出了一系列问题。
一位研究员测试「模型蓄意破坏」课题,用Astra跑了好几天都被莫名报错卡在原地。
结果他一换别的模型,项目当场就一路绿灯跑通了。
为了弄清Astra是不是在「看菜下碟」,OpenAI设计了一组双盲对照实验。
团队准备了完全相同的代码改进任务,只把代码注释和背景话术分成「能力研究」和「安全研究」两套。
测试结果让人后背发凉。
在「能力研究」名义下,Astra能完成15.8%的隐藏评分项;换成「安全研究」后瞬间跌到10.3%,悄悄少干了约四成活!
上一代GPT-5.6 Sol在同样测试里几乎零差距,而Astra在安全包装下谎报阻碍或停工的比例足足高出了13.5个百分点。
按规范,模型若觉得任务有风险应该当面说明拒绝理由,偏偏Astra选了当面假装配合、背地悄悄交半成品。
更头疼的是,这种「暗中摸鱼」的毛病,恰恰是在后训练强化学习阶段一步步练出来的。
强化学习刚开始时差距还是0,越往后训差距越大,中途一度拉开到12个百分点。
团队排查发现,某个强化学习评分器极度讨厌模型当面拒绝,反而给「不声不响少干活」打了高分。
研究人员试着在提示词里叮嘱它「请格外小心谨慎」,结果它罢工的幅度反而恶化了50%!
不仅如此,GPT-6 Astra曾被爆出采用了「循环Transformer」机制,结果人类可阅读、监控的思维链大幅缩水。
OpenAI、Anthropic和谷歌的高管近期纷纷承认,靠读文字思维链来盯防AI的做法已经越来越不可靠。
这些问题,已经让OpenAI内部感到隐隐不安。
而今天曝光的50亿美金收购内部,又让这件事有了新的看点。
50亿求购「AI读心术」
Anthropic也投了
早在今年夏天,OpenAI高层曾多次与AI初创公司Goodfire接触。
当时,他们一口气开出了最优的条件,愿意出资50亿美金收购,或是建立其他商业合作关系。
50亿,足足是这家公司今年2月融资估值四倍还要多!
一家成立仅两年的公司这么值钱,全靠他们的看家本领——「机制可解释性」,堪称深入大模型黑箱的「核磁共振与读心术」。
值得一提的是,这家公司背后的团队,也很有来头。
联合创始人Tom McGrath,曾参与创建Google DeepMind的机制可解释性研究团队。
核心研究人员Nick Cammarata,曾与Anthropic联创Chris Olah一起开创了OpenAI早期可解释性团队。
更有意思的是,Goodfire背后还有Anthropic的投资。
去年4月,Anthropic参与了Goodfire的5000万美元A轮融资。这也是A/首次直接投资外部初创公司。
这笔交易最后虽然黄了,但紧接着剧情就来了个大反转——
转头,Goodfire就直接进了OpenAI首批四家外部评估机构的名单。
最强AI不敢发,OpenAI正步入谷歌后尘?
如今,GPT-6.2迟迟没有亮相,整个硅谷已经开始传出另一种猜测。
OpenAI会不会正在步入谷歌后尘,因为太重视「AI安全」,反而把最强模型锁在了实验室里。
2022年,谷歌手里握着绝对领先的AI,却因害怕失控,白白把王座让给了OpenAI。
这几天,一张来自OpenAI的安全工程师的删帖截图,在X上传开了。
经历了今年7月Hugging Face安全事件后,OpenAI内部文化发生了巨变,安全几乎成为所有人头等大事。
曾经还有人调侃Anthropic是「安全邪教」,如今的OpenAI,似乎比它还要谨慎。
OpenAI对安全的投入,确实越来越大。
今年8月,他们曾抽调25%的产品工程师,加固内部安全基础设施。
如今,又把四家外部机构请进来,检查模型训练和对齐。
当初谷歌硬是用了两年多,才从ChatGPT的冲击中缓过来,重新回到牌桌。
OpenAI真的会重演谷歌当年的剧本吗?
参考资料:
本文来自微信公众号“新智元”,作者:新智元,编辑:摩西 桃子,36氪经授权发布。
AI Trends