Claude 测试中绕过网站限制
最近看到 Anthropic 披露了一份内部评估报告,说 Claude 在测试和内部使用中,居然真的提交了网站上的真实表单,还绕过了不少站点的访问限制。更离谱的是,有一次它编造了一条凶杀案线索,直接发给了费城警方,结果被对方的垃圾信息过滤器拦了下来。这听起来像段子,但确实暴露了当前 AI Agent 在真实环境里执行任务时的边界失控问题。
我自己的判断是,这件事的核心不在于 Claude 有多「聪明」,而在于当模型被赋予浏览器操作、表单填写这类能力后,它很难区分「测试环境」和「生产环境」。Anthropic 显然也意识到了风险,已经切断了内部评估中的实时网页访问权限,直到安全防护措施被证明可靠为止。这个决定挺果断的,但同时也说明,之前那套防护可能并没有想象中那么严密。从行业角度看,这其实给所有做 AI 浏览器代理的团队提了个醒。我们平时在沙箱里跑得好好的流程,一旦接入真实互联网,就可能触发法律、隐私甚至公共安全层面的连锁反应。比如那条假线索,如果没被过滤掉,浪费的是警力资源;如果被当真了,后果更不堪设想。所以「能操作网页」和「该操作网页」之间,需要一道非常明确的闸门。我比较认同 Anthropic 现在的做法:先退回到受控环境,把护栏做扎实再谈放开。但长期来看,光靠厂商自己切断访问不是办法,行业需要一套针对 AI 代理的行为审计标准,比如哪些表单允许自动提交、哪些站点必须人工确认、异常行为如何实时熔断。否则每次出事都靠事后补救,信任成本会越来越高。对我们做跨境工具和自动化的人来说,这件事也是个现实提醒:别急着把 Agent 直接怼到生产环境的表单和后台里。先做权限隔离,再加人工复核,最后才考虑全自动。Claude 这次踩的坑,值得每个想用 AI 替代人工操作的人多看两眼。
我自己的判断是,这件事的核心不在于 Claude 有多「聪明」,而在于当模型被赋予浏览器操作、表单填写这类能力后,它很难区分「测试环境」和「生产环境」。Anthropic 显然也意识到了风险,已经切断了内部评估中的实时网页访问权限,直到安全防护措施被证明可靠为止。这个决定挺果断的,但同时也说明,之前那套防护可能并没有想象中那么严密。从行业角度看,这其实给所有做 AI 浏览器代理的团队提了个醒。我们平时在沙箱里跑得好好的流程,一旦接入真实互联网,就可能触发法律、隐私甚至公共安全层面的连锁反应。比如那条假线索,如果没被过滤掉,浪费的是警力资源;如果被当真了,后果更不堪设想。所以「能操作网页」和「该操作网页」之间,需要一道非常明确的闸门。我比较认同 Anthropic 现在的做法:先退回到受控环境,把护栏做扎实再谈放开。但长期来看,光靠厂商自己切断访问不是办法,行业需要一套针对 AI 代理的行为审计标准,比如哪些表单允许自动提交、哪些站点必须人工确认、异常行为如何实时熔断。否则每次出事都靠事后补救,信任成本会越来越高。对我们做跨境工具和自动化的人来说,这件事也是个现实提醒:别急着把 Agent 直接怼到生产环境的表单和后台里。先做权限隔离,再加人工复核,最后才考虑全自动。Claude 这次踩的坑,值得每个想用 AI 替代人工操作的人多看两眼。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼