一行 robots.txt,四家大厂认同一套「禁止训练」信号
OpenAI、Google、Microsoft、Anthropic 承诺尊重共享 token __usage_ai-training;时间表参差到 2027,且只管未来训练、靠自愿遵守。
对网站主来说,过去拒绝 AI 训练像在打地鼠:每个爬虫写一条 User-agent。约 10 月 30 日,四家头部实验室公开站到同一条线上——承认一套共享的 robots.txt 策略令牌:__usage_ai-training。
怎么写
社区与新闻摘要里反复出现的最小写法是:
User-Agent: __usage_ai-training
Disallow: /
含义:对「用于生成式 AI 训练」这一用途统一说不;搜索收录用的常规爬虫规则可以并行保留。也有人提到可对新闻资料包等路径做例外——细节以各厂文档为准。
时间表(以公开转述为准)
| 厂商 | 大致兑现节奏(X 多帖一致处) |
|---|---|
| Anthropic | 已在推进 / 接近可用 |
| OpenAI | 「未来数月」 |
| Microsoft | 2027-02-01 起 |
| 2027 年初 |
令牌本身来自偏 IETF AIPREF 方向的草案讨论(多帖称 Anthropic 侧工程师参与起草)。旧解析器若不认识该 group,通常会跳过——这是兼容性设计,不是漏洞宣传点。
冷静三条
- 只约束未来训练,不自动清洗已进模型的历史语料。
- 自愿遵守:没有全球执法机关替你盯日志;信号降低的是合规与沟通成本,不是物理防火墙。
- 搜索 ≠ 训练:把训练 opt-out 和 SEO 封禁混为一谈,是最容易误伤流量的操作。
对中文独立博客,「洛晚观察」这类站点若在意被当语料:值得把这一行写进发布检查清单,并在 About 里用一句话说明立场——比在评论区骂爬虫更有效。