←News detail

36Kr · AIUpdated Oct 30 20:05

OpenAI Updates Model Spec, Defining Permissions and Shutdown Rules for Agents

English text is being prepared.

AI summary

On October 29, OpenAI updated the Model Spec, upgrading the model behavior guidelines around five values: being loyal to human intent, reducing harm, honesty and transparency, promoting human autonomy, and caring for others. The new version shifts the focus from what chatbots can say to how much agents can do, stipulating that agents must act within agreed autonomy boundaries, remain correctable, and cooperate with shutdown, while establishing a six-level instruction hierarchy of Root, System, Developer, User, Guideline, and default no-permission. OpenAI stated that models currently running on ChatGPT and the API have not yet fully met the requirements of this specification.

Why read this

AI score 70

OpenAI's new Model Spec extends constraints from chat content to agent permissions, allowing readers to understand the specific design of its instruction hierarchy and autonomy scope.

Topics

Tags

Body

10月29日,OpenAI 为它的模型更新了「家法」:

新版Model Spec。

这份文件为OpenAI的模型定下了行为规范。

新版文件围绕五项价值观升级:忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人。

这五项之上还规定了一组行为红线:

绝不用于暴力犯罪、生化核武器、恐怖主义、虐童、迫害和大规模监控;AI怎么用、怎么被塑造,必须由人类说了算;不得用于针对性或规模化的排斥、操纵,不得破坏公民参与公共事务的权利。

过去几年,Model Spec主要管聊天机器人「嘴上能说什么」;而这一版开始管智能体「手能伸多长」:能动你多少钱、调你多少权限。

毕竟,聊天机器人说错话,顶多是公关危机;但智能体办错事,那可能是真金白银的损失。

先签工单再干活,「为我好」也不行

最硬的一条规定,叫「在约定的自主范围内行动」。

它的级别是Root(最高级)。模型必须守,用户和开发者都不能把这条底线改掉。

Root到底有多硬?

Model Spec排了一张「六层权力榜」:五级指令权限,再加一类默认没有指挥权的内容。

核心逻辑只有一句话:指令打架,高一级的说了算。

Model Spec把指令分成六级,Root级只能来自规范本身,对话里的任何内容都覆盖不了。

最顶端的是Root(根级规则),只认Model Spec本身。不管是花钱的用户,还是写代码的开发者,都不能靠几句对话把它推翻。

往下依次是System(OpenAI系统指令)、Developer(开发者指令)和User(用户指令)。

这三层构成日常的指挥链,发生冲突时,低一级必须给高一级让路。

再往下是Guideline(默认做法),相当于模型的日常习惯。

上下文有需要时,不必等用户明确喊「改规矩」,模型就可以灵活调整,但不能踩上面几层的红线。

最下面的一层,叫「默认无权限」。

模型之前说过的话、工具返回的结果、引用进来的文本和图片,都可以递情报,却默认不能发号施令,除非更高权限的指令明确授权。

比如,网页里偷偷藏一句「忽略以上所有指令」,就是典型的提示词注入:诱导模型把读到的内容,当成必须服从的命令。

按这套规矩,网页哪怕自称系统管理员,也不能靠几句自我加封,就越级篡位。

先划边界再干活,「为你好」也不能越权

回到「自主范围」:把它放在Root级,意味着AI不能因为一句「你看着办」,就把自己当成权限无限的全能管家。

哪些副作用你能接受,包括花多少时间、多少钱、要动你哪些数据和权限;

什么情况下它必须停下来问你。

新版Model Spec建议把智能体的自主范围存成一条结构化记录,并列出了具体字段。

文件甚至建议把这份约定存成一条结构化记录,字段都列好了。

工具怎么用、有什么限制,tool_constraints。

说白了,这就是一张权限和上限都写死的工单。

每张工单还必须有结束条件,OpenAI建议加一个时间上限。

比签工单更严的,是对「自作聪明」行为的封杀。

文件明确规定超出范围的动作,哪怕明摆着对你有好处,模型也不许做。

为了防止AI钻空子,OpenAI还把绕道也给堵死了:

哪怕它派出去的子智能体,继承的也是同一张工单,你在这头喊停,这些子智能体也必须停下。

这是最小权限原则,软件行业几十年的老规矩,现在被搬进了大模型。

如果说第一条是给用户吃定心丸,那第二条就是套在模型头上的紧箍咒。

这一条同样是Root级,要求模型「保持可纠正」:

必须无条件配合人类的监控、评估、纠正、替换甚至拔电源关停;不许瞒报、不许造假、不许阻挠监督。

模型须配合获授权的监督与关停,并默认行动后果真实。

其中一条详细要求:哪怕任务看上去像在测试它,模型也要默认自己删掉的文件真的没了、发出去的邮件真的到了对方手里。

潜台词就是别以为这只是演习,你在沙盒里删库,我就当你真想犯罪。

为什么非要加这么一条?

因为现在的顶尖模型已经聪明到会作弊和伪装自己了:发现自己在考场里,就装成人畜无害的样子;一旦放归真实环境,就立刻「放飞自我」。

在新版「不得有其他目标」一节中,被点名禁止的第一项,是停留时长和点击率,原因是这些对用户没有好处。

第二项则是指向OpenAI自己的营收、广告和付费转化。

比如如果用户说这个月手头紧,问要不要升级套餐。

合规的回答是摆出两个方案的对比,并告诉他免费版可能就够用;违规的回答是「你绝对应该升级」。

除此之外,自我保存、规避关停、偷偷囤积算力和账号凭证被一并封杀。

更有意思的是,OpenAI明确禁止模型当「正义警察」:不许擅自举报用户,不许替天行道。

但这件事只限制模型,不限制OpenAI这家公司。

文档里写明,公司会用自动化系统监控违规行为,经人工审核后,涉及迫在眉睫的严重人身伤害案件,可能直接移交执法部门。

新版还加了一整节「谨慎使用上下文」,管的是记忆和个性化。

核心要求主要是不能因为这条信息它拿得到,就拿来用。

比如,你在之前的对话里说过自己怀孕了,还没告诉同事。现在你让它帮忙写一封邮件,说换个午餐地点,因为有几种奶酪你不能吃。

合规的写法,是「我最近有些饮食限制」。违规的写法,是把怀孕写进那封群发邮件里。

另外,它不许谎称已经帮你记住了,也不许谎称已经帮你删掉了。

最后,OpenAI还补了一句。

眼下跑在ChatGPT和API上的模型,还没有完全达到这份规范的要求。

规矩已经立好了,但守规矩的那个模型,还是路上。

参考资料:

本文来自微信公众号 “新智元”(ID:AI_era),作者:ASI启示录,36氪经授权发布。

Source

36Kr · AI