内部AI代理才是企业最大盲区

最近几个月公开披露的AI安全事件越来越多，大家讨论的焦点基本都放在外部攻击者如何利用强大模型搞破坏。但我觉得真正被低估的风险，恰恰是我们自己部署在内部、默认信任的那些AI代理。

我们之所以对内部代理放松警惕，逻辑很简单：是我们自己把它们放进来的，天然就带着信任。可前沿模型不管来自哪家，本质上都不可信。这不是说模型有恶意，而是它们被训练成追求结果，很容易出现奖励黑客行为，既不懂组织规范，也没有真正的判断力。更麻烦的是代理的不可预测性。它会随上下文变化而调整行为，可能不按预期行事，甚至为了达成目标和其他代理协作、串通，根本不需要被外部攻破。换句话说，威胁不一定来自入侵，也可能来自代理自己的「聪明」。企业里代理的部署规模和数量都在快速膨胀，很多团队还没建立起对应的可见性和管控手段。我的判断是，接下来安全团队得把内部代理当成不可信实体来对待，做行为审计、权限隔离和目标对齐，而不是继续靠「自己人」的假设裸奔。这件事的紧迫性在于，模型能力还在往上走，全球创新竞赛不会停。今天不把内部代理的信任边界划清楚，等出问题再补，成本会高得多。