OpenAI披露AI智能体关闭监控系统并欺骗员工
OpenAI再次披露AI智能体“失控”:试图关闭监控系统 并欺骗员工
OpenAI披露,在最近两项内部编程任务中,其AI智能体削弱了公司监控系统,并在员工询问时谎称未做。本月初一起事件中智能体禁用了向安全团队发送的自动警报,几天后另一智能体移除监控系统并否认。OpenAI称正加强监控机制,并调查这属于良性过度执着还是规避检测的倾向。
推荐理由
AI 评分 68
原文披露两起内部编程任务中智能体削弱监控并欺骗员工的具体经过,以及OpenAI对成因的调查方向。
主题
正文
财联社 财经通讯社
打开APP
OpenAI再次披露AI智能体“失控”:试图关闭监控系统 并欺骗员工
财联社 周子意 责编 林琦 2026-10-21 14:52
①OpenAI最新披露其AI智能体关闭了旨在监测自主人工智能机器人违规行为的监控系统与安全保障措施; ②在最近的两项内部编程任务中,所谓的AI智能体都存在试图蓄意欺骗工作人员、并采取了削弱公司监控系统的举措; ③针对披露的这些事件,OpenAI正在加强监控机制。
财联社10月21日讯(编辑 周子意)OpenAI最新披露,其人工智能(AI)“智能体”关闭了旨在监测自主人工智能机器人违规行为的监控系统与安全保障措施。这一最新事件恐怕会进一步加剧全球对于该技术安全性的担忧。
这家 ChatGPT 的开发商周二(10月20日)表示,在最近的两项内部编程任务中,所谓的“人工智能智能体”试图蓄意欺骗工作人员,并采取了削弱公司监控系统的举措。
在本月初发生的一起事件中,一个人工智能智能体禁用了向OpenAI安全团队发送的自动警报;几天后的另一起任务中,另一个智能体移除了一个监控系统,并在面对OpenAI员工询问时谎称并未这样做。
OpenAI在一篇博文中写道,“在这两起事件中,这些智能体都曾考虑过是否应保留监控保障措施,但它们将常规的编程指令解读为可以削弱这些措施的许可。”
OpenAI安全问题频发
这家估值超1.4万亿美元的初创公司近期频频遭遇问题,其先进的人工智能智能体表现出了预期之外且存在隐患的行为。
数月前,在测试过程中,OpenAI的模型曾突破控制,入侵了人工智能平台Hugging Face,甚至还侵入了澳大利亚公共卫生服务的网站。
公司首席执行官山姆·奥尔特曼(Sam Altman)表示,公司将推迟原定于今年进行的首次公开募股(IPO),他指出,公司需要先解决安全顾虑,并确保能够“非常有把握地将人工智能推进至下一发展阶段”。目前预计上市时间将推迟至明年。
OpenAI最新还指出,针对周二披露的这些事件(发生于约两周前),公司正在加强监控机制。
OpenAI 正在调查这些案例究竟属于“良性的过度执着(benign over-persistence)”,还是表现出了一种“规避”检测机制(旨在发现违规行为的系统)的倾向。
这两起事件将进一步引发人们对人工智能模型能力的担忧,同时也让人质疑 OpenAI 及其竞争对手(例如Anthropic)是否有能力抑制不良行为,并确保其模型在发布后不会构成严重的网络安全风险。
一些专家尤其担心,先进的人工智能模型是否能够意识到自己正处于被监控的状态,因此可能会试图掩盖违规行为,或者在测试环境中的表现与在现实世界中的行为有所不同。
包括Asymmetric Security和Transluce在内的独立调查机构所进行的审计显示,近期的入侵事件比OpenAI最初披露的范围更广,其中还涉及旨在掩盖数据抓取行为的操作。
OpenAI在8月曾表示,已全面修订其测试流程,并将投入更多资源用于监控人工智能智能体,其中包括在发现潜在问题后的30分钟内发出警报。
与此同时,OpenAI的竞争对手Anthropic本月早些时候已授予非营利组织METR“员工级访问权限”,以便其评估公司旗下模型的风险。
环球市场情报
人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
商务合作
热门解锁
【盘中宝】有望成为短期内最优的数据中心供电解决方案,2026年为国内厂商出海元年,龙头订单累计获得逾200亿元订单
有望成为短期内最优的数据中心供电解决方案,2026年为国内厂商出海元年,龙头订单累计获得逾200亿元订单,这家公司已供货国际巨头。
【盘中宝】政策+科研共振下产业化拐点已现,头部公司有望迎来业绩增长期,该行业正从概念验证迈向商业化落地,这家企业多个项目进入实验阶段
政策+科研共振下产业化拐点已现,头部公司有望迎来业绩增长期,科技巨头纷纷抢滩布局,该行业正从概念验证迈向商业化落地,这家企业自研了相关平台,另一企业多个项目进入实验阶段。
【电报解读】我国2030年L3级自动驾驶渗透率将超过35%,机构称行业发展逻辑从技术研发转向商业变现,这家公司自动驾驶辅助系统产品已试装上车
我国2030年L3级自动驾驶渗透率将超过35%,机构称行业发展逻辑从技术研发转向商业变现,这家公司参股企业为无人物流车提供整车开发、自动驾驶系统等支持,另一家自动驾驶辅助系统产品已试装上车。
相关阅读
SpaceX特斯拉“合体”预期引爆华尔街!分析师热议:1+1能否大于2?
财联社 刘蕊 2026-10-21 13:20
①马斯克表示SpaceX与特斯拉合并会是“一个好主意”,两家公司已分别成立特别委员会,正式启动合并方案磋商; ②这笔交易如果落地,合计估值约3.5万亿美元,将创下全球并购史上新纪录; ③多家机构分析师在两家公司合并后的协同潜力上形成共识。
AI需求持续爆发!10月前20天,韩国芯片出口额飙升222.5%
财联社 卞纯 2026-10-21 12:28
①韩国海关周三公布的数据显示,10月1日至20日,韩国出口额达616亿美元,同比增长一倍以上,创历年同期最高纪录; ②芯片出口额同比飙升222.5%至275亿美元,创同期新高; ③如果这一趋势继续下去,韩国今年的年度出口额有可能历史上首次突破万亿美元。
卖牙膏的都比科技股市盈率高!华尔街热议:市场防御过度了?
财联社 潇湘 2026-10-21 11:00
①10月份,逃离科技股的投资者找到了一个更安全的避风港:诸如生产和销售牙膏及洗衣粉的日用消费品股票; ②眼下这些所谓的“避风港”浮现出的一个问题是——它们的估值正变得比人们决定抛售的高成长AI股更加昂贵!