robots.txt 要统一 AI 训练开关了

今天看到一条挺关键的消息：Google 宣布计划在 robots.txt 里支持一个共享的 AI 训练控制，基于 IETF 的 AIPREF 工作组方案。简单说，网站主以后不用给每家 AI 厂商单独写规则，用一个共享的 policy token 就能一次性表达「别拿我的内容训练」的偏好。

具体机制我理解是这样的：如果站点在 robots.txt 里用这个 token 声明退出训练，又没有单独点名 Google-Extended，Google 会默认按「已拒绝 Google-Extended」处理。其他参与的厂商也可以照同样逻辑执行，等于把过去各家各写一套的碎片化控制，收敛成一个通用信号。原有的厂商专属控制继续有效，两者并存，站点可以全选退出，也可以挑着来。对我们做出海内容站的人来说，这事的意义不只是「多了一个开关」。以前每个 AI 爬虫都要单独研究、单独配置，小团队根本维护不过来；现在有了统一 token，至少合规成本能降下来。但我也得泼盆冷水：这是「计划支持」，不是强制标准，厂商愿不愿意真按这个信号执行、执行到什么程度，还得看后续落地。另一个值得琢磨的点是默认逻辑。Google 把「用了共享 token 但没点名 Google-Extended」直接解释成拒绝，这个默认值对站点是有利的，但也意味着你一旦启用，可能连带影响自己未来在 AI 搜索曝光上的位置。内容站要不要退出训练，本质是流量和版权之间的取舍，不是纯技术配置。我的建议是：先别急着全站一刀切。可以拿一部分栏目试水，观察收录和推荐流量的变化，再决定要不要扩大范围。同时把 robots.txt 的变更记录留好，万一后面跟厂商有争议，这些配置历史就是证据。统一信号是好事，但真正的博弈才刚开始。