OpenAI 宣布将遵循 robots.txt 共享信号表达 AI 训练偏好

OpenAI于2026年10月30日宣布，将遵循robots.txt中的一项共享信号。robots.txt是网站用来表达其内容使用偏好的文件，借助这一共享信号，网站运营方可以一次性向多个参与厂商传达同一项AI训练偏好。

OpenAI在公告中将这一举措描述为自愿性质，并表示它解决了一项长期存在的负担：在此之前，网站运营方必须逐一识别各个爬虫，并为每一家提供商分别维护规则。该公司表示，共享信号让发布者和网站运营方能够一次性向多个参与提供商传达相同的偏好。OpenAI称，其目标是在未来几个月内实现该信号，届时将再发布一次更新，说明实现细节。

该公司表示，新信号不会取代其已通过robots.txt提供的控制措施，这些控制措施将继续适用并得到遵守。OpenAI称，此举借鉴了互联网工程任务组（IETF）AI偏好工作组正在进行的工作，并表示将与其他工作组成员一同发布这一公告，同时鼓励其他AI提供商也遵循该信号。该公司将这一举措描述为朝着开放网络迈进的一步：在开放网络中，人们可以发布和发现信息，网站所有者也能以更清晰、更简单的方式表达其对内容使用方式的选择；该公司还表示，随着相关标准讨论的演进，它将继续调整自身做法。

该信号如何运作

该信号定义在一份个人Internet-Draft中，标题为《机器可读训练偏好信号》（draft-kelley-aipref-training-preference-signal-00），作者为Anthropic的Kevin Kelley，日期为2026年10月30日，有效期至2027年5月3日。IETF的datatracker指出，个人Internet-Draft未获IETF认可，在IETF标准流程中不具有正式地位。

根据该草案，服务运营方通过在以每种用途对应的策略token为键的User-Agent行中编写普通robots.txt组，将使用偏好（例如“禁止AI训练”）绑定到路径上。该草案没有引入新的指令名称，也没有引入新的语法：作为RFC 9309发布的robots.txt标准中的路径语言、最长匹配优先级和组结构均保持不变。因此，草案称，部署在互联网上的现有解析器将继续像以前一样解释流量管理信号，并会像对待任何指定了其无法识别的用户代理的组一样，忽略策略token组。

该草案定义了跨厂商策略token __usage_ai-training。其示例组将“User-Agent: __usage_ai-training”一行与“Disallow: /”和“Allow: /press-kit/”配对，表达了对除/press-kit/下路径之外的所有路径禁止AI训练的偏好。通配符组（即“User-Agent: *”）不得被解释为匹配该策略token；如果文件中没有任何组包含该token，则表示未表达任何偏好。

该草案还指出，策略token并非针对爬取行为的指令。草案称，内容使用偏好与爬虫流量管理信号相互独立且彼此正交，私下协议可以覆盖通过该机制表达的偏好。其既定目标包括：按路径绑定、与RFC 9309保持最小距离、避免大规模重复规则、未实现该机制的解析器行为保持不变，以及各消费方之间解释一致。

该信号背后的词汇表

该token的含义遵循工作组的词汇表草案《用于表达AI使用偏好的词汇表》（draft-ietf-aipref-vocab-08），作者为Open Future的Paul Keller和Mozilla的Martin Thomson，最后更新于2026年9月，作为拟议标准的工作组文件。该词汇表将AI训练定义为使用资产修改生成式AI模型的学习参数，不包括对仅用于非生成式任务的模型进行训练；并将生成式AI模型定义为用于或可供用于以一种或多种模态生成合成内容的模型。

该词汇表还定义了一个单独的AI使用类别，涵盖作为生成式AI模型输入而非由用户直接提供的资产；以及一个搜索类别，适用于主要目的是选择资产并将用户引导至其所在位置的应用。每个类别都获得一个偏好值：允许、不允许或未知；当陈述相互冲突时，适用限制性最强的偏好。该词汇表草案指出，它并不确保偏好得到遵循，是否遵循由接收方自行选择；一份致读者说明提醒，其内容尚未反映工作组共识。其中一节（其是否纳入仍被列为未决问题）指出，遵守训练偏好包括在模型分发时随模型一并传递与训练资产相关的偏好。

训练信号草案的致谢部分列出了工作组主席、Cloudflare的Mark Nottingham和思科的Suresh Krishnan，词汇表编辑Thomson和Keller，以及负责区域主管、Akamai的Mike Bishop。致谢还列出了个人参与者，其所属机构仅用于识别，因为IETF参与者以个人身份贡献；这些机构包括OpenAI、Google、Microsoft、Meta、Cloudflare、Common Crawl Foundation、News Corp、Financial Times、BBC、Electronic Frontier Foundation和Creative Commons。

OpenAI现有的爬虫控制措施

OpenAI的爬虫文档称，该文档将与新信号一同继续有效；文档将GPTBot描述为抓取可能用于训练其生成式AI基础模型内容的代理；禁止GPTBot表示网站内容不应用于此类训练。OAI-SearchBot会在ChatGPT的搜索功能中展示网站，选择退出它的网站将不会出现在ChatGPT搜索答案中，但仍可作为导航链接出现。OAI-AdsBot验证提交为ChatGPT广告的网页的安全性，其收集的数据不用于训练生成式AI基础模型。ChatGPT-User处理由用户在ChatGPT中的操作触发的页面访问，而非自动抓取；文档指出，robots.txt规则可能不适用于这些访问。

根据文档，每项设置彼此独立，因此网站管理员可以允许OAI-SearchBot出现在搜索结果中，同时禁止GPTBot用于训练。网站更新robots.txt后，搜索调整可能需要约24小时才能生效。OpenAI表示，将在未来几个月内实施该共享信号时公布实施细节。