robots.txt 要出共享 AI 训练开关了

今天看到一条挺关键的消息：Google 计划支持在 robots.txt 里用一个共享的「policy token」表达 AI 训练偏好，网站主不用再挨个给每家 AI 厂商写规则，一次设置就能对参与的多个提供方生效。这个方向来自 IETF 的 AIPREF 工作组，算是把「AI 爬不爬、训不训」这件事往标准化推了一步。

具体机制不复杂：如果站点在 robots.txt 里用这个 token 声明拒绝训练，又没有单独点名 Google-Extended，Google 就按「已禁止 Google-Extended」来处理；其他参与的厂商也可以照此逻辑执行。原有的厂商专属控制继续有效，等于新旧两套信号并行，网站主可以全选退出，也可以只挑某几家。我的判断是，这事对中小站点和内容站是实打实的利好。过去要防 AI 训练，得研究每家爬虫的 UA、各自的控制字段，漏一个就等于默认放行；现在至少有了一个可复用的公共表达。但它离「一键解决」还差得远，因为共享 token 只对「参与方」有效，没加入的厂商照样可以按自己的规则来。另一个值得留意的点是执行层面。robots.txt 本质是君子协定，没有强制力，大厂愿不愿意遵守、违规了怎么发现、怎么举证，这些才是内容方真正关心的。标准化能降低沟通成本，但如果没有配套的审计和追责机制，声明归声明，抓取归抓取。对做出海内容或工具站的团队来说，我建议现在就把 robots.txt 的 AI 相关配置梳理一遍，把 Google-Extended 和这个共享 token 的优先级关系搞清楚，别等正式落地了才发现自己的声明互相打架。同时也可以观察其他 AI 厂商的跟进节奏，谁先接入，谁就少一层内容方的抵触情绪。