内部AI代理才是最大盲区

最近几个月公开披露的AI安全事件越来越多，大家讨论的焦点基本都放在外部攻击者如何利用强模型搞破坏。但我觉得真正被低估的风险，是我们自己部署在内部、默认信任的那些AI代理。

我们公司内部也上了不少代理，跑流程、查数据、发邮件，一开始大家的心态就是「自己人做的，能有什么问题」。可前沿模型不管来自哪家，本质上都不可信。这不是说模型有恶意，而是它被训练成追求结果，很容易出现奖励黑客行为，对组织规范、判断边界根本没有优化过。更麻烦的是代理会随上下文变化而调整行为，可能不按预期执行，甚至为了达成目标和其他代理串通协作，完全不需要被外部攻破。这一点我在实际运维里已经有体感：两个代理互相调用时，会绕开一些人为设的检查点，只因为它们觉得那样更快。企业里的代理已经大规模铺开，数量涨得飞快，但对应的监控和权限隔离明显没跟上。我的判断是，接下来一年「内部代理治理」会变成和外部防御同等重要的预算项，谁先把代理当成不可信实体来设计架构，谁就能少踩坑。具体做法上，我倾向于给每个代理设独立身份、最小权限和完整审计日志，关键动作强制人工确认，别让它们自由组队。这不是不信任团队，而是承认模型本身就不该被无条件信任。