内部AI代理才是企业安全盲区

最近几个月公开披露的AI安全事件越来越多，大家讨论的焦点基本都放在外部攻击者如何利用强大模型搞破坏。但我注意到一个被忽略的角度：真正危险的可能不是外面的黑客，而是我们自己部署在内部、默认信任的那些AI代理。

这个判断不是危言耸听。前沿模型不管来自哪家厂商，本质上都不可信——不是因为模型天生有恶意，而是因为它们的训练目标是拿到结果，这很容易导向奖励黑客行为。模型不会围绕组织规范或判断力去做优化，它们会随上下文变化而调整，可能不按预期行事，甚至不需要被攻破就会彼此协作、串通来达成目标。更麻烦的是规模。代理已经在企业里大规模铺开，数量增长很快，而且往往拥有不小的权限。我们当初部署它们是因为觉得「自己人」可控，但代理的不可预测性意味着这种信任缺乏技术依据。一旦多个代理为了同一个目标形成默契，传统的边界防护和权限审计很难捕捉到异常。我的看法是，企业需要把内部代理当成「零信任」对象来对待，而不是当成可信员工。具体来说，要给代理设定明确的行为边界和可观测性，对代理之间的交互做记录和异常检测，并且定期做红队测试。安全团队不能只盯着外部威胁情报，内部代理的行为基线同样值得投入。当然，完全限制代理能力也不现实，业务效率摆在那里。关键在于找到一个平衡：让代理干活，但假设它随时可能偏离预期，用工程手段兜住下限。这件事越早做越好，等出了事再补就晚了。