Google、Microsoft、Anthropic 和 OpenAI 将支持新的 AI 爬虫退出标准
Google, Anthropic and others to support new AI crawling opt-out standard - SiliconANGLE
Google、Microsoft、Anthropic 和 OpenAI 宣布将支持一项正在制定的网站爬虫标准，让网站运营者用一条 robots.txt 条目即可屏蔽所有为生成式 AI 模型收集训练数据的爬虫，该设置不适用于仅执行非生成式任务的模型。四家公司已向维护 Robots Exclusion Protocol 的 IETF 提交草案，Microsoft 还将提供名为 AI Grounding 的设置，用于阻止模型为回答用户问题而发起的网页访问请求。Microsoft 和 OpenAI 计划在未来几个月内支持该标准，Google 将于明年跟进，Meta 表示支持这一思路但尚未承诺实施。
推荐理由
AI 评分 66
新标准把逐家屏蔽训练爬虫简化为一条 robots.txt 规则，并已提交 IETF，读者可据此判断网站内容授权方式的变化。
主题
正文 · AI 翻译
Google LLC、Microsoft Corp.、Anthropic PBC 和 OpenAI Group PBC 今日宣布计划支持一项即将推出的网站爬虫标准。
该技术将使网站运营者能够阻止人工智能开发者使用其内容来训练模型。
许多网站包含一个名为“robots.txt”的文本文件，用于告知爬虫它们可以访问哪些内容。发布者可以利用该文件全面阻止抓取，或仅使特定网页无法访问。也可以在其中包含某些其他指令。例如，公司可以要求爬虫不要过于频繁地访问其网站。
网站运营者历来使用 robots.txt 文件来管理搜索引擎与其网站的交互方式。如今，该技术也有助于规范 AI 提供商收集训练数据所用爬虫的活动。
希望禁止与训练相关的抓取的公司必须对其网站的 robots.txt 文件进行多处修改。特别是，它需要为每一个 AI 提供商添加单独的条目。如果某个 AI 提供商使用多个爬虫来收集数据，则每个爬虫都需要有自己的 robots.txt 条目。
Google、Microsoft、Anthropic 和 OpenAI 支持的这项爬虫标准旨在简化这一过程。它将允许网站运营者通过一条 robots.txt 条目屏蔽所有为生成式 AI 模型收集训练数据的爬虫。该设置不适用于“仅执行非生成式任务”的模型。
robots.txt 文件的结构遵循一种名为 Robots Exclusion Protocol 的标准化格式。Google、Microsoft、Anthropic 和 OpenAI 计划将其爬虫标准纳入该格式。他们已将提案的草案版本提交给维护 Robots Exclusion Protocol 的非营利组织互联网工程任务组（Internet Engineering Task Force）。
Microsoft 在一篇博客文章中表示，它还将提供一项名为 AI Grounding 的爬虫设置。该设置专为 AI 模型为回答用户问题而非收集训练数据而访问网页的情形设计。
Microsoft 的设置将使网站运营者能够阻止其服务发送此类请求。该功能还将扩展至使用 Microsoft 技术处理提示词的第三方 AI 工具。
OpenAI 计划提供类似的控制功能。ChatGPT 的开发商和 Microsoft 都打算在未来几个月内增加对该爬虫标准的支持，而 Google 将在明年某个时候跟进。Meta Platforms Inc. 表示支持该技术背后的理念，但尚未承诺实施。
图片：Unsplash