robots.txt加一行,AI爬虫不再抓取训练内容
在 robots.txt 里加一行 policy token,遇到这个标记的 AI 爬虫就不再抓该站点的内容用于训练。Anthropic 已经启用,OpenAI 说未来几个月内实现,Google 和 Microsoft 计划明年支持,Meta 表态支持但没说何时遵守。这个由 Anthropic 在 IETF 提出的信号目前仍在提案阶段,它让发布方一次声明就能对多家 AI 公司生效,不必再为每家公司分别配置爬虫偏好。
退出训练不影响搜索显示:微软此前介绍细粒度控制时提到,网站选择退出 AI 训练或 AI 答案引用后,仍会出现在 Bing 搜索结果里;Google 的类似控制也允许网站决定内容是否用于 AI 搜索或训练,同样不影响搜索可见度。