OpenAI、Anthropic、Google、微软联合起草拒绝 AI 训练声明
A社/O社/谷歌/微软联合起草拒绝AI训练声明 网站只需要添加声明即可阻止
OpenAI、Anthropic、Google 和微软联合起草一份互联网草案，网站只需在 robots.txt 中加入 User-Agent: __usage_ai-training 与 Disallow:/ 即可声明全站内容禁止用于 AI 训练，也可按目录设置允许或禁止。各家支持时间不同：微软称从 2027 年 2 月 1 日开始遵循，Google 计划 2027 年年初支持，OpenAI 表示未来几个月内实施，Anthropic 似乎已开始支持。该声明只表达内容用途选择，不会直接阻止爬虫访问，限制抓取仍需传统 robots.txt 规则。
推荐理由
AI 评分 62
草案给出 robots.txt 声明写法，并列出四家公司的支持时间差异，便于网站管理员提前规划内容授权。
主题
正文
声明内容如下：
# 全站禁止规则
User-Agent: __usage_ai-training
Disallow:/
# 允许特定目录示例
User-Agent: __usage_ai-training
Allow:/archive/
# 不允许特定目录示例
User-Agent: __usage_ai-training
disallow:/archive/
# 其中允许特定目录与全站禁止不冲突，即允许 /archive/ 但其他目录全部禁止
在网站 robots.txt 文件中添加这段内容即可声明全站内容禁止用于训练 AI 模型，网站管理员也可以修改允许或不允许的目录，例如部分目录允许被用于 AI 训练，部分内容不允许被用于 AI 训练。
各家支持时间不同：
目前该方案仍然是互联网草案，不过微软已经表示该公司会从 2027 年 2 月 1 日开始遵循该声明，所以不想内容被用于 AI 训练的网站现在就可以修改文件添加相关声明。
Google的计划是从 2027 年年初开始提供支持，但具体时间还有待后面准备工作完成。OpenAI 表示会在未来几个月内实施该方案，Anthropic 似乎已经开始支持该草案。
禁止训练和引用内容生成回答属于不同用途：
以上声明仅表达的是网站对内容用途的选择，按照草案说明，单独设置上述声明不会直接阻止爬虫访问网页，如果网站要限制特定爬虫抓取内容，还是要通过传统 robots.txt 规则进行配置。
训练内容与 AI 回答引用网页也属于不同的用途，微软为自家服务额外提供 AI Grounding 控制，供网站决定内容是否允许 AI 生成回答时引用，这项控制针对具体页面且仅适用于微软服务。
Google则表示，如果网站使用上述声明拒绝 AI 训练，但没有明确设置 Google-Extended，Google计划按网站拒绝 Google-Extended 规则处理。Google-Extended 涉及 Gemini 模型训练，也涉及部分 Gemini 回答的网页参考用途。