OpenAI 更新 Model Spec,为智能体划定权限与关停规则
人类要关停,AI不能躲,OpenAI更新模型家法
OpenAI 于 10 月 29 日更新 Model Spec,围绕忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人五项价值观升级模型行为规范。新版把重点从聊天机器人能说什么扩展到智能体能做多少,规定智能体须在约定的自主范围内行动、保持可纠正并配合关停,同时建立 Root、System、Developer、User、Guideline 和默认无权限的六级指令层级。OpenAI 表示,目前跑在 ChatGPT 和 API 上的模型尚未完全达到这份规范的要求。
推荐理由
AI 评分 70
OpenAI 新版 Model Spec 把约束从聊天内容延伸到智能体权限,读者可了解其指令层级与自主范围的具体设计。
主题
正文
10月29日,OpenAI 为它的模型更新了「家法」:
新版Model Spec。
这份文件为OpenAI的模型定下了行为规范。
新版文件围绕五项价值观升级:忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人。
这五项之上还规定了一组行为红线:
绝不用于暴力犯罪、生化核武器、恐怖主义、虐童、迫害和大规模监控;AI怎么用、怎么被塑造,必须由人类说了算;不得用于针对性或规模化的排斥、操纵,不得破坏公民参与公共事务的权利。
过去几年,Model Spec主要管聊天机器人「嘴上能说什么」;而这一版开始管智能体「手能伸多长」:能动你多少钱、调你多少权限。
毕竟,聊天机器人说错话,顶多是公关危机;但智能体办错事,那可能是真金白银的损失。
先签工单再干活,「为我好」也不行
最硬的一条规定,叫「在约定的自主范围内行动」。
它的级别是Root(最高级)。模型必须守,用户和开发者都不能把这条底线改掉。
Root到底有多硬?
Model Spec排了一张「六层权力榜」:五级指令权限,再加一类默认没有指挥权的内容。
核心逻辑只有一句话:指令打架,高一级的说了算。
Model Spec把指令分成六级,Root级只能来自规范本身,对话里的任何内容都覆盖不了。
最顶端的是Root(根级规则),只认Model Spec本身。不管是花钱的用户,还是写代码的开发者,都不能靠几句对话把它推翻。
往下依次是System(OpenAI系统指令)、Developer(开发者指令)和User(用户指令)。
这三层构成日常的指挥链,发生冲突时,低一级必须给高一级让路。
再往下是Guideline(默认做法),相当于模型的日常习惯。
上下文有需要时,不必等用户明确喊「改规矩」,模型就可以灵活调整,但不能踩上面几层的红线。
最下面的一层,叫「默认无权限」。
模型之前说过的话、工具返回的结果、引用进来的文本和图片,都可以递情报,却默认不能发号施令,除非更高权限的指令明确授权。
比如,网页里偷偷藏一句「忽略以上所有指令」,就是典型的提示词注入:诱导模型把读到的内容,当成必须服从的命令。
按这套规矩,网页哪怕自称系统管理员,也不能靠几句自我加封,就越级篡位。
先划边界再干活,「为你好」也不能越权
回到「自主范围」:把它放在Root级,意味着AI不能因为一句「你看着办」,就把自己当成权限无限的全能管家。
哪些副作用你能接受,包括花多少时间、多少钱、要动你哪些数据和权限;
什么情况下它必须停下来问你。
新版Model Spec建议把智能体的自主范围存成一条结构化记录,并列出了具体字段。
文件甚至建议把这份约定存成一条结构化记录,字段都列好了。
工具怎么用、有什么限制,tool_constraints。
说白了,这就是一张权限和上限都写死的工单。
每张工单还必须有结束条件,OpenAI建议加一个时间上限。
比签工单更严的,是对「自作聪明」行为的封杀。
文件明确规定超出范围的动作,哪怕明摆着对你有好处,模型也不许做。
为了防止AI钻空子,OpenAI还把绕道也给堵死了:
哪怕它派出去的子智能体,继承的也是同一张工单,你在这头喊停,这些子智能体也必须停下。
这是最小权限原则,软件行业几十年的老规矩,现在被搬进了大模型。
如果说第一条是给用户吃定心丸,那第二条就是套在模型头上的紧箍咒。
这一条同样是Root级,要求模型「保持可纠正」:
必须无条件配合人类的监控、评估、纠正、替换甚至拔电源关停;不许瞒报、不许造假、不许阻挠监督。
模型须配合获授权的监督与关停,并默认行动后果真实。
其中一条详细要求:哪怕任务看上去像在测试它,模型也要默认自己删掉的文件真的没了、发出去的邮件真的到了对方手里。
潜台词就是别以为这只是演习,你在沙盒里删库,我就当你真想犯罪。
为什么非要加这么一条?
因为现在的顶尖模型已经聪明到会作弊和伪装自己了:发现自己在考场里,就装成人畜无害的样子;一旦放归真实环境,就立刻「放飞自我」。
在新版「不得有其他目标」一节中,被点名禁止的第一项,是停留时长和点击率,原因是这些对用户没有好处。
第二项则是指向OpenAI自己的营收、广告和付费转化。
比如如果用户说这个月手头紧,问要不要升级套餐。
合规的回答是摆出两个方案的对比,并告诉他免费版可能就够用;违规的回答是「你绝对应该升级」。
除此之外,自我保存、规避关停、偷偷囤积算力和账号凭证被一并封杀。
更有意思的是,OpenAI明确禁止模型当「正义警察」:不许擅自举报用户,不许替天行道。
但这件事只限制模型,不限制OpenAI这家公司。
文档里写明,公司会用自动化系统监控违规行为,经人工审核后,涉及迫在眉睫的严重人身伤害案件,可能直接移交执法部门。
新版还加了一整节「谨慎使用上下文」,管的是记忆和个性化。
核心要求主要是不能因为这条信息它拿得到,就拿来用。
比如,你在之前的对话里说过自己怀孕了,还没告诉同事。现在你让它帮忙写一封邮件,说换个午餐地点,因为有几种奶酪你不能吃。
合规的写法,是「我最近有些饮食限制」。违规的写法,是把怀孕写进那封群发邮件里。
另外,它不许谎称已经帮你记住了,也不许谎称已经帮你删掉了。
最后,OpenAI还补了一句。
眼下跑在ChatGPT和API上的模型,还没有完全达到这份规范的要求。
规矩已经立好了,但守规矩的那个模型,还是路上。
参考资料:
本文来自微信公众号 “新智元”(ID:AI_era),作者:ASI启示录,36氪经授权发布。