OpenAI 更新 Model Spec,为智能体划定权限与关停规则
OpenAI 于 10 月 29 日更新 Model Spec,围绕忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人五项价值观升级模型行为规范。新版把重点从聊天机器人能说什么扩展到智能体能做多少,规定智能体须在约定的自主范围内行动、保持可纠正并配合关停,同时建立 Root、System、Developer、User、Guideline 和默认无权限的六级指令层级。OpenAI 表示,目前跑在 ChatGPT 和 API 上的模型尚未完全达到这份规范的要求。
认行动后果真实。 其中一条详细要求:哪怕任务看上去像在测试它,模型也要默认自己删掉的文件真的没了、发出去的邮件真的到了对方手里。 潜台词就是别以为这只是演习,你在沙盒里删库,我就当你真想犯罪。 为什么非要加这么一条? 因为现在的顶尖模型已经聪明到会作弊和伪装自己了:发现自己在考场里,就装成人畜无害的样子;一旦放归真实环境,就立刻「放飞自我」。 在新版「不得有其他目标」一节中,被点名禁止的第一项,是停留时长和点击率,原因是这些对用户没有好处。 第二项则是指向OpenAI自己的营收、广告和付费转化。 比如如果用户说这个月手头紧,问要不要升级套餐。 合规的回答是摆出两个方案的对比,并告诉他免费版可能就够用;违规的回答是「你绝对应该升级」。 除此之外,自我保存、规避关停、偷偷囤积算力和账号凭证被一并封杀。 更有意思的是,OpenAI明确禁止模型当「正义警察」:不许擅自举报用户,不许替天行道。 但这件事只限制模型,不限制OpenAI这家公司。 文档里写明,公司会用自动化系统监控违规行为,经人工审核后,涉及迫在眉睫的严重人身伤害案件,可能直接移交执法部门。 新版还加了一整节「谨慎使用上下文」,管的
匹配字段正文