Google 计划支持 robots.txt 共享 AI 训练控制信号

Google于2026年10月30日宣布，计划支持robots.txt中的共享AI训练控制信号，让网站所有者能够以统一方式向多家AI提供商表达训练偏好。这一承诺与微软和OpenAI同日发布的公告一同到来。

该计划由Google搜索倡导者John Mueller在Google Search Central博客文章中阐述。该控制机制基于互联网工程任务组（IETF）AI Preferences工作组的工作，并建立在Google-Extended的基础之上——Google称其自2023年起就提供了这一AI训练控制机制。

网站所有者无需为每个AI开发者分别管理指令，而是可以在robots.txt中使用共享策略令牌，向参与其中的AI提供商设定广泛的偏好。当网站使用该令牌选择退出训练、且未明确指定Google-Extended时，Google计划将其解读为发布者已禁止Google-Extended。其他AI提供商也可以类似方式处理该信号，因此网站所有者可以一次性向所有参与提供商选择退出，也可以逐一挑选。

根据该文章，现有的公司特定控制机制将继续与联合信号并行运作，因此网站所有者可以通过行业信号表达广泛选择，同时仍可通过Google-Extended等控制机制为个别开发者定制指令。明确允许Google-Extended的网站有资格出现在响应中，并通过Gemini应用中的grounding获得点击。

Google表示，该提案反映了发布者、公民社会团体、监管机构和其他利益相关方的反馈，这些方面一直呼吁对AI训练实施行业范围内的控制，而主要AI提供商的支持将产生一个适用于整个行业的持久标准。该公司还表示，该提案符合欧盟《人工智能法案》下针对通用目的AI模型提供商的《实践准则》，该准则认可robots.txt是网络发布者表达机器可读偏好的主要方法。Google的目标是在2027年与其他AI提供商一同支持这一新控制机制，并表示将提供进展更新。

OpenAI同日作出了平行承诺。OpenAI的公告称，该公司将遵守这一通用robots.txt信号，目标是在未来数月内实施，并将保留和尊重其现有的爬虫控制机制。OpenAI表示，它与其他AI Preferences工作组成员一同参与了该公告，并鼓励其他AI提供商遵守该信号。

该机制在题为“Machine-Readable Training Preference Signal”的互联网草案中作出规定，作者为Anthropic的Kevin Kelley，日期为2026年10月30日。该文件面向标准轨道，于2027年5月3日到期；根据IETF datatracker，它是一份个人提交，未获IETF认可，在标准制定过程中不具有正式地位。

根据该草案，服务运营者通过在User-Agent行中写入以按用途策略令牌__usage_ai-training为键的普通robots.txt组，将使用偏好绑定到路径。草案中的示例组表达了对整个站点反对AI训练的偏好，但/press-kit/下的路径除外。该机制不引入新的指令名称，也不引入新的语法：robots.txt标准RFC 9309的路径语言、最长匹配优先级和组结构均保持不变，因此已部署在互联网各处的解析器将忽略它们不认识的策略令牌组。通配符组，即User-Agent: *的组，不得被解释为匹配该策略令牌，而没有__usage_ai-training组的robots.txt文件完全不表达任何偏好。

该令牌的含义取自AIPREF词汇表对AI训练的定义：“使用资产修改生成式AI模型的学习参数。”该定义排除了仅用于非生成式任务的模型的训练，即使该模型具备生成式任务能力。草案还强调，该令牌表达的是关于内容使用的偏好，而非爬取行为的指令，尽管消费方可以使用偏好来指导爬取；具体表达应优先于一般表达，私人协议可以覆盖已表达的偏好。

Kelley于2026年10月30日在IETF的ai-control邮件列表中宣布了该草案，并写道Anthropic已开始实施对其的支持。他将这项工作描述为对Anthropic现有爬虫控制机制的补充，而非替代。

微软的采用与过渡日期

微软同日在一篇由Microsoft Bing首席产品经理Krishna Madhavan撰写的Bing博客文章中宣布了其采用。微软表示，它是第一家为AI训练和grounding提供发布者控制机制的公司，并指出其在2023年推出的NoArchive和NoCache标签。

微软正在为站点和路径采用共享的AI Training偏好，并通过meta标签和HTTP响应头将其扩展到页面级别，同时新增一个单独的页面级AI Grounding偏好。除Allow和Disallow之外，grounding偏好还新增了DisallowExtended选项，将grounding使用限制在微软运营的体验中，如AI Mode、AI Overview、Copilot和Microsoft 365，同时排除微软向第三方提供的grounding服务，例如Web IQ以及通过Foundry中API访问提供的grounding。当未发布任何偏好时，这两项偏好均默认为Allow。微软提醒，为grounding选择Disallow或DisallowExtended会降低品牌在AI体验中的可见度；这些偏好不会改变传统Bing搜索结果的资格，也不构成许可或付费安排。

新的偏好将取代用于训练和grounding的NoArchive和NoCache，并自2027年2月1日起在微软爬取时生效。对于截至该日期仍在使用旧标签的网站，临时grounding过渡偏好将于2026年12月15日在Bing Webmaster Tools中开放。这些网站必须在2027年3月1日前发布其新偏好并记录一项临时grounding偏好，此后NoArchive和NoCache将不再被读取为训练或grounding偏好。临时偏好将持续有效，直到微软重新爬取页面并发现新的grounding偏好，或直到2027年9月30日，以先到者为准。