Google 计划 2027 年起支持 robots.txt 统一 AI 训练策略 token

Google将从2027年起在robots.txt文件中支持一种统一的策略信号，网站运营方可通过该信号集中反对将其内容用于AI模型训练。这样一来，无需再为每个AI提供商分别维护单独的屏蔽规则，只需一个跨厂商的策略令牌，即可一次性向多家AI开发商表明自身偏好。这一新功能基于标准化组织IETF下属AI Preferences（AIPREF）工作组的前期成果。

广告后继续阅读

存放在Web服务器根目录下的文本文件robots.txt自1994年起便依据RFC 9309标准化的Robots Exclusion Protocol，规定自动化网络爬虫可以访问哪些目录和路径。最初，管理员主要用它来控制搜索引擎机器人，以限制服务器负载或将特定区域排除在索引之外。随着大型语言模型的出现，该文件还被用作机器可读的使用保留声明，以反对未经询问便抓取训练数据的行为。不过，该文件并不能取代技术性访问封锁：它提出的要求只有配合的爬虫才会自愿遵守，而一些提供商则会无视robots.txt的规定。

用一个策略令牌取代冗长的屏蔽列表

据Google Search Central Blog称，此举源于发布者、监管机构和公民社会要求建立全行业控制机制的反馈。此前，管理员必须在robots.txt中逐一登记每个AI爬虫或每个厂商专用令牌：例如OpenAI的GPTBot、Anthropic的ClaudeBot，或Google自2023年起提供的自有令牌Google-Extended。

为此，底层的IETF草案并未向Robots Exclusion Protocol引入新语法，而是利用现有的User-Agent行来承载一个统一策略令牌（__usage_ai-training）。与经典条目不同，该令牌并不代表某个在请求头中以该名称标识自身的具体HTTP爬虫，而是为所有参与的AI提供商定义使用目的。根据该草案，一个全局反对AI训练、但将单个目录排除在外的示例如下：

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

不认识该新令牌的解析器会依据RFC 9309，将其作为未知User-Agent直接忽略该块。而参与的AI提供商则会解析这些路径规则，以确定他们可以将网站的哪些内容用于模型训练。

与Google的协同

广告后继续阅读

据Google称，现有的企业专用控制将并行保留。由此，网站运营方可以通过统一策略令牌做出总体基本决定，并在需要时针对单个提供商进行覆盖。如果某网站通过新的统一令牌反对AI训练，且未对Google-Extended作出明确说明，Google会自动将其视为运营方已通过Disallow屏蔽了Google-Extended。

反之，明确允许Google-Extended的一方，不仅是为训练开放其内容：据Google称，这一明确许可也是网站通过所谓的Grounding出现在Gemini应用回答中并由此获得点击的前提条件。在Grounding过程中，语言模型会在运行时将其生成的回答与当前网络来源关联起来，以佐证事实并提供延伸链接。

IETF标准化与欧盟AI法案

在内容上，新信号基于IETF下属AIPREF工作组制定的AI训练定义。尽管各利益相关方围绕AIPREF其余词汇表——例如进一步细粒度区分其他AI用途——的讨论仍在继续，该草案旨在让网站运营方提前获得一个统一的偏好信号。

据Google称，该提案还符合欧盟AI法案框架下针对通用用途AI模型提供商的行为准则。该准则认可robots.txt是网络发布者表达其机器可读使用保留声明的主要方法。Google希望与相关参与方在IETF工作组中共同进一步完善该提案。从2027年起，该公司及其他AI提供商将正式解析这一新的控制信号。

(fo)