Brave把300亿网页卖给了AI

今天看到一条让我愣了几秒的消息：Brave 被曝抓取了 300 亿个网页，然后把这份搜索索引卖给了 AI 公司。消息来源是《纽约时报》，而 Brave 自己一直以「隐私友好」的浏览器和搜索引擎形象示人。作为一个每天跟网站流量和内容分发打交道的人，我第一反应不是愤怒，而是——我的站点大概率也在那 300 亿页里。

这件事真正扎心的地方在于，它把「公开可抓取」和「可以拿去卖钱」之间的灰色地带摊到了台面上。过去我们讨论 AI 爬虫，焦点是 robots.txt 有没有被尊重、内容有没有被用来训练模型；现在的问题是，连索引本身都成了商品。你辛苦做的内容，被第三方打包成数据资产卖给大模型公司，而你既没收到通知，也没拿到一分钱。从商业角度看，Brave 这步棋其实不难理解。独立搜索引擎的索引维护成本极高，靠广告和订阅很难撑住，把索引卖给 AI 公司是一条现成的变现路径。但问题在于，它卖的不只是自己的技术资产，还包括无数站长的劳动成果。这种「我抓了、我卖了、你不知情」的模式，和当年搜索引擎靠内容起家、再反过来掐住流量入口，本质上是同一个剧本。对做出海内容的团队来说，我觉得有几件事值得重新盘一盘。
- 抓取策略：检查 robots.txt 和 meta 标签，确认哪些 AI 爬虫被放行，别默认「公开就是随便用」。
- 内容分层：核心数据、深度分析这类高价值内容，考虑放在登录后或付费墙内，减少被整站打包的机会。
- 流量结构：别把搜索当唯一入口，邮件列表、社群、直接访问这些自有渠道该补起来了。我的判断是，这类「索引换现金」的交易只会越来越多，监管短期内跟不上。站长能做的不是等规则，而是主动把内容的可抓取边界划清楚。毕竟在 AI 时代，被收录和被卖掉，有时候是同一件事。