洛晚观察
← 返回首页
资讯2026-11-017 分钟阅读

一行 robots.txt,四家大厂认同一套「禁止训练」信号

OpenAI、Google、Microsoft、Anthropic 承诺尊重共享 token __usage_ai-training;时间表参差到 2027,且只管未来训练、靠自愿遵守。

对网站主来说,过去拒绝 AI 训练像在打地鼠:每个爬虫写一条 User-agent。约 10 月 30 日,四家头部实验室公开站到同一条线上——承认一套共享的 robots.txt 策略令牌:__usage_ai-training。

怎么写

社区与新闻摘要里反复出现的最小写法是:

User-Agent: __usage_ai-training
Disallow: /

含义:对「用于生成式 AI 训练」这一用途统一说不;搜索收录用的常规爬虫规则可以并行保留。也有人提到可对新闻资料包等路径做例外——细节以各厂文档为准。

时间表(以公开转述为准)

厂商 大致兑现节奏(X 多帖一致处)
Anthropic 已在推进 / 接近可用
OpenAI 「未来数月」
Microsoft 2027-02-01 起
Google 2027 年初

令牌本身来自偏 IETF AIPREF 方向的草案讨论(多帖称 Anthropic 侧工程师参与起草)。旧解析器若不认识该 group,通常会跳过——这是兼容性设计,不是漏洞宣传点。

冷静三条

  1. 只约束未来训练,不自动清洗已进模型的历史语料。
  2. 自愿遵守:没有全球执法机关替你盯日志;信号降低的是合规与沟通成本,不是物理防火墙。
  3. 搜索 ≠ 训练:把训练 opt-out 和 SEO 封禁混为一谈,是最容易误伤流量的操作。

对中文独立博客,「洛晚观察」这类站点若在意被当语料:值得把这一行写进发布检查清单,并在 About 里用一句话说明立场——比在评论区骂爬虫更有效。

来源

订阅洛晚观察

全部内容免费阅读。邮件订阅即将开放;也可先用 RSS。

相关文章