robots.txt 要统一 AI 训练开关了

今天看到一条挺重要的消息：谷歌宣布计划在 robots.txt 里支持一个共享的 AI 训练控制信号，基于 IETF 的 AIPREF 工作组。简单说，以后站长不用给每家 AI 公司单独写一条规则，用一个统一的 policy token 就能表达「别拿我的内容训练模型」。

具体机制是：如果网站用这个 token 声明退出训练，而 robots.txt 里又没有单独点名 Google-Extended，谷歌就默认按「已禁止 Google-Extended」处理。其他参与的 AI 厂商也可以照此执行，站长既能一键全退，也能挑着来。原有的厂商专属控制继续有效，两者并存。从站长的角度看，这确实是减负。过去几年 AI 爬虫的 UA 五花八门，robots.txt 越写越长，还得盯着各家新出的开关手动补。现在把偏好收敛到一个标准信号，至少省掉了重复劳动，也降低了漏配的风险。但我没那么乐观。robots.txt 本质是君子协定，没有强制力，最终还得看各家愿不愿意真遵守。而且「共享 token」的语义边界、和现有 Google-Extended 的优先级怎么判，细节上仍有模糊地带。对靠内容吃饭的独立站来说，这更像多了一个表态渠道，而不是真正的护城河。我的判断是：这个方向值得跟，但别指望它解决所有问题。做内容站的朋友可以先把 token 加上，同时继续观察各家爬虫的实际行为；做 AI 应用的则要留意，未来抓取合规的门槛会越来越高，靠默认「先爬再说」的空间在收窄。