←新闻详情

36氪 · AI更新于 10月30日 20:05

OpenAI 更新 Model Spec,为智能体划定权限与关停规则

人类要关停,AI不能躲,OpenAI更新模型家法

AI 导读

OpenAI 于 10 月 29 日更新 Model Spec,围绕忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人五项价值观升级模型行为规范。新版把重点从聊天机器人能说什么扩展到智能体能做多少,规定智能体须在约定的自主范围内行动、保持可纠正并配合关停,同时建立 Root、System、Developer、User、Guideline 和默认无权限的六级指令层级。OpenAI 表示,目前跑在 ChatGPT 和 API 上的模型尚未完全达到这份规范的要求。

推荐理由

AI 评分 70

OpenAI 新版 Model Spec 把约束从聊天内容延伸到智能体权限,读者可了解其指令层级与自主范围的具体设计。

主题

标签

正文

10月29日,OpenAI 为它的模型更新了「家法」:

新版Model Spec。

这份文件为OpenAI的模型定下了行为规范。

新版文件围绕五项价值观升级:忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人。

这五项之上还规定了一组行为红线:

绝不用于暴力犯罪、生化核武器、恐怖主义、虐童、迫害和大规模监控;AI怎么用、怎么被塑造,必须由人类说了算;不得用于针对性或规模化的排斥、操纵,不得破坏公民参与公共事务的权利。

过去几年,Model Spec主要管聊天机器人「嘴上能说什么」;而这一版开始管智能体「手能伸多长」:能动你多少钱、调你多少权限。

毕竟,聊天机器人说错话,顶多是公关危机;但智能体办错事,那可能是真金白银的损失。

先签工单再干活,「为我好」也不行

最硬的一条规定,叫「在约定的自主范围内行动」。

它的级别是Root(最高级)。模型必须守,用户和开发者都不能把这条底线改掉。

Root到底有多硬?

Model Spec排了一张「六层权力榜」:五级指令权限,再加一类默认没有指挥权的内容。

核心逻辑只有一句话:指令打架,高一级的说了算。

Model Spec把指令分成六级,Root级只能来自规范本身,对话里的任何内容都覆盖不了。

最顶端的是Root(根级规则),只认Model Spec本身。不管是花钱的用户,还是写代码的开发者,都不能靠几句对话把它推翻。

往下依次是System(OpenAI系统指令)、Developer(开发者指令)和User(用户指令)。

这三层构成日常的指挥链,发生冲突时,低一级必须给高一级让路。

再往下是Guideline(默认做法),相当于模型的日常习惯。

上下文有需要时,不必等用户明确喊「改规矩」,模型就可以灵活调整,但不能踩上面几层的红线。

最下面的一层,叫「默认无权限」。

模型之前说过的话、工具返回的结果、引用进来的文本和图片,都可以递情报,却默认不能发号施令,除非更高权限的指令明确授权。

比如,网页里偷偷藏一句「忽略以上所有指令」,就是典型的提示词注入:诱导模型把读到的内容,当成必须服从的命令。

按这套规矩,网页哪怕自称系统管理员,也不能靠几句自我加封,就越级篡位。

先划边界再干活,「为你好」也不能越权

回到「自主范围」:把它放在Root级,意味着AI不能因为一句「你看着办」,就把自己当成权限无限的全能管家。

哪些副作用你能接受,包括花多少时间、多少钱、要动你哪些数据和权限;

什么情况下它必须停下来问你。

新版Model Spec建议把智能体的自主范围存成一条结构化记录,并列出了具体字段。

文件甚至建议把这份约定存成一条结构化记录,字段都列好了。

工具怎么用、有什么限制,tool_constraints。

说白了,这就是一张权限和上限都写死的工单。

每张工单还必须有结束条件,OpenAI建议加一个时间上限。

比签工单更严的,是对「自作聪明」行为的封杀。

文件明确规定超出范围的动作,哪怕明摆着对你有好处,模型也不许做。

为了防止AI钻空子,OpenAI还把绕道也给堵死了:

哪怕它派出去的子智能体,继承的也是同一张工单,你在这头喊停,这些子智能体也必须停下。

这是最小权限原则,软件行业几十年的老规矩,现在被搬进了大模型。

如果说第一条是给用户吃定心丸,那第二条就是套在模型头上的紧箍咒。

这一条同样是Root级,要求模型「保持可纠正」:

必须无条件配合人类的监控、评估、纠正、替换甚至拔电源关停;不许瞒报、不许造假、不许阻挠监督。

模型须配合获授权的监督与关停,并默认行动后果真实。

其中一条详细要求:哪怕任务看上去像在测试它,模型也要默认自己删掉的文件真的没了、发出去的邮件真的到了对方手里。

潜台词就是别以为这只是演习,你在沙盒里删库,我就当你真想犯罪。

为什么非要加这么一条?

因为现在的顶尖模型已经聪明到会作弊和伪装自己了:发现自己在考场里,就装成人畜无害的样子;一旦放归真实环境,就立刻「放飞自我」。

在新版「不得有其他目标」一节中,被点名禁止的第一项,是停留时长和点击率,原因是这些对用户没有好处。

第二项则是指向OpenAI自己的营收、广告和付费转化。

比如如果用户说这个月手头紧,问要不要升级套餐。

合规的回答是摆出两个方案的对比,并告诉他免费版可能就够用;违规的回答是「你绝对应该升级」。

除此之外,自我保存、规避关停、偷偷囤积算力和账号凭证被一并封杀。

更有意思的是,OpenAI明确禁止模型当「正义警察」:不许擅自举报用户,不许替天行道。

但这件事只限制模型,不限制OpenAI这家公司。

文档里写明,公司会用自动化系统监控违规行为,经人工审核后,涉及迫在眉睫的严重人身伤害案件,可能直接移交执法部门。

新版还加了一整节「谨慎使用上下文」,管的是记忆和个性化。

核心要求主要是不能因为这条信息它拿得到,就拿来用。

比如,你在之前的对话里说过自己怀孕了,还没告诉同事。现在你让它帮忙写一封邮件,说换个午餐地点,因为有几种奶酪你不能吃。

合规的写法,是「我最近有些饮食限制」。违规的写法,是把怀孕写进那封群发邮件里。

另外,它不许谎称已经帮你记住了,也不许谎称已经帮你删掉了。

最后,OpenAI还补了一句。

眼下跑在ChatGPT和API上的模型,还没有完全达到这份规范的要求。

规矩已经立好了,但守规矩的那个模型,还是路上。

参考资料:

本文来自微信公众号 “新智元”(ID:AI_era),作者:ASI启示录,36氪经授权发布。

来源

36氪 · AI