先了解这件事
OpenAI宣布将遵循robots.txt中的共享AI训练偏好信号。据Thurrott报道,Anthropic、Google、Microsoft和OpenAI同意支持并实施由IETF工作组制定的退出机制,让网站所有者就内容用于生成式AI训练表达偏好,并与搜索索引和归档区分开。OpenAI称这是自愿机制,可让发布者一次性向多家参与厂商传达同一偏好;Microsoft表示发布者不必在Bing可发现性和模型使用其作品之间二选一。Anthropic已实施该机制,Google、Microsoft和OpenAI将在2027年实施,机制完成后将作为国际标准提案。SiliconANGLE报道称,四家公司已向维护Robots Exclusion Protocol的IETF提交草案,Microsoft还将提供AI Grounding设置,用于阻止模型为回答用户问题而发起的网页访问请求;Microsoft和OpenAI计划在未来几个月内支持该标准,Google将于明年跟进,Meta表示支持这一思路但尚未承诺实施。
AI 根据公开报道生成
最新进展 · 正式报道
Google 计划支持 robots.txt 共享 AI 训练控制信号事件进展
1 个已确认进展
- 来源：Thurrott
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月31日
Unite.AI
Google 计划支持 robots.txt 共享 AI 训练控制信号
Google 于 10 月 30 日宣布计划支持 robots.txt 中的共享 AI 训练控制信号，让网站所有者用统一方式向多家 AI 厂商表达训练偏好，并称目标在 2027 年落地。该机制基于 IETF AI Preferences 工作组的工作，在 User-Agent 行写入 __usage_ai-training 策略 token，不新增指令名和语法，未指定 Google-Extended 的退出声明将被视为禁止其使用。OpenAI 同日承诺遵守该信号并计划在未来数月内实现，微软则宣布自 2027 年 2 月 1 日起用新偏好取代 NoArchive 和 NoCache。
Testing Catalog
10月31日AI日报：Anthropic订阅改名，Grok Bot 1.0发布
Anthropic 将 Max 5x 更名为 Max（$100）、Max 20x 更名为 Ultra（$200），验证版 Ultra 取消 5 小时限制；Claude API 最大请求体积从 32 MB 提升至 128 MB。xAI 的 Grok Bot 1.0 首个稳定版开放下载，并新增每个 bot 的语音与语音语言设置。NVIDIA 开源 9.6M 参数的语音清理模型 RE-USE，Pika 发布开放权重视频模型 H3 Flex。
SiliconANGLE
Google、Microsoft、Anthropic 和 OpenAI 将支持新的 AI 爬虫退出标准
Google、Microsoft、Anthropic 和 OpenAI 宣布将支持一项正在制定的网站爬虫标准，让网站运营者用一条 robots.txt 条目即可屏蔽所有为生成式 AI 模型收集训练数据的爬虫，该设置不适用于仅执行非生成式任务的模型。四家公司已向维护 Robots Exclusion Protocol 的 IETF 提交草案，Microsoft 还将提供名为 AI Grounding 的设置，用于阻止模型为回答用户问题而发起的网页访问请求。Microsoft 和 OpenAI 计划在未来几个月内支持该标准，Google 将于明年跟进，Meta 表示支持这一思路但尚未承诺实施。
Thurrott
Anthropic、Google、Microsoft 和 OpenAI 同意让网站退出 AI 训练
Anthropic、Google、Microsoft 和 OpenAI 同意支持并实施由 IETF 工作组制定的退出机制，让网站所有者可以就内容用于生成式 AI 训练表达偏好，并与搜索索引和归档区分开。OpenAI 称这是一项自愿机制，可让发布者一次性向多家参与厂商传达同一偏好；Microsoft 表示发布者不必在 Bing 可发现性和模型使用其作品之间二选一。Anthropic 已实施该机制，Google、Microsoft 和 OpenAI 将在 2027 年实施，该机制完成后将作为国际标准提案。
The Verge AI
OpenAI、Google、Microsoft、Anthropic 将采用统一的 AI 抓取退出标准
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，让出版商可以一次性向多家 AI 公司表达退出抓取的偏好。该共享 policy token 信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，将写入网站的 robots.txt 文件，目前网站需分别向各家 AI 公司设置偏好。Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在未来几个月内实施；Microsoft 还将提供更细粒度控制，允许出版商分别退出 AI 训练或 AI grounding，但网站仍会出现在 Bing 搜索结果中。
Unite.AI
OpenAI 宣布将遵循 robots.txt 共享信号表达 AI 训练偏好
OpenAI 于 2026 年 10 月 30 日宣布将遵循 robots.txt 中的共享信号，让网站运营方一次性向多个参与厂商表达同一 AI 训练偏好，并计划在未来几个月内实现。该信号定义在 Anthropic 的 Kevin Kelley 提交的 Internet-Draft 中，使用 __usage_ai-training 策略 token 绑定路径，不新增指令名或语法，沿用 RFC 9309 的解析规则。OpenAI 称现有 GPTBot、OAI-SearchBot 等控制仍继续有效，并鼓励其他 AI 厂商也遵循该信号。
10月30日
本事件热度走势
- 当前
- 27
- 区间峰值
- 50 10月31日 11:00
- 近 24 小时变化
- -19%
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。