OpenAI、Google、Microsoft、Anthropic 将采用统一的 AI 抓取退出标准
The biggest names in AI are backing a new way to opt out of scraping
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，让出版商可以一次性向多家 AI 公司表达退出抓取的偏好。该共享 policy token 信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，将写入网站的 robots.txt 文件，目前网站需分别向各家 AI 公司设置偏好。Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在未来几个月内实施；Microsoft 还将提供更细粒度控制，允许出版商分别退出 AI 训练或 AI grounding，但网站仍会出现在 Bing 搜索结果中。
推荐理由
AI 评分 62
四家主要 AI 公司同意采用同一 robots.txt 信号，读者可了解出版商统一退出 AI 抓取的机制与各家落地时间差。
主题
正文 · AI 翻译
据 Search Engine Roundtable 早前报道，OpenAI、Google、Microsoft 和 Anthropic 表示，他们将采用一项新标准，出版商可借此选择退出被 AI 抓取。借助这一控制机制，出版商可以一次性向多家 AI 公司表达其 AI 训练偏好，而无需逐家单独设置。
这一共享的“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 作为互联网工程任务组（IETF）工作的一部分提出。它将写入网站的 robots.txt 文件，该文件长期以来一直用于表明哪些网络爬虫可以或不可以抓取某个网站——无论是用于搜索索引、存档还是 AI 训练。目前，网站必须分别向每家 AI 公司表明其 AI 训练偏好。
这一声明发布之际，出版商正疲于应对不断涌入的 AI 爬虫抓取其网站并将内容输入 AI 模型。一些公司和组织已尝试打击未经授权的抓取，例如 Really Simple Licensing（RSL）标准让出版商能够对访问其网站的爬虫收费，以及 Cloudflare 默认阻止 AI 爬虫。
OpenAI、Google、Microsoft 和 Anthropic 表示，如果遇到该共享 token，他们将限制其 AI 爬虫访问相关网站。不过，Microsoft 将提供更细粒度的控制，让出版商能够选择退出 AI 训练或 AI grounding——即引导 AI 模型指向经过验证的信息来源以减少幻觉的过程。Microsoft 指出，无论网站作何偏好，它们仍会出现在 Bing 的搜索结果中。
Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 则表示将在“未来几个月内”实施。