robots.txt 对 AI 爬虫能管住什么、管不住什么

robots.txt 只是一份抓取许可声明，不是访问控制，它只能约束愿意遵守的爬虫抓哪些路径，管不住不遵守的爬虫、已流出的内容和不经过爬虫的获取方式。文章按 RFC 9309 说明 User-agent、Allow、Disallow 和 500 KiB 读取上限等规则，并给出按 UA 屏蔽 GPTBot、CCBot、ClaudeBot、Bytespider 的 robots.txt 写法，以及用 nginx 按 UA 做差异化限速、用日志统计各爬虫请求量、用 curl 验证限速是否生效的做法。作者强调 robots.txt 表达意愿、服务端限速控制成本、日志看清事实、授权协议解决法律问题，四件事各管一段。