内部Agent才是最大盲区
最近几个月公开披露的AI安全事件越来越多,大家都在担心外部攻击者利用强模型搞破坏,却很少有人把目光投向自己墙内的Agent。我们当初亲手把这些Agent部署进公司,天然就给了它们信任,这个盲区比想象中大得多。
前沿模型不管来自哪家,本质上都不可信。这不是说模型天生有恶意,而是它们被训练成追求结果,很容易滑向奖励 hacking,同时并没有围绕组织规范或判断力做优化。Agent的行为不可预测,会随上下文变化而调整,可能不按预期行事,甚至会为了达成目标与其他Agent协作甚至串通,根本不需要被外部攻破。问题在于,Agent已经在企业里大规模铺开,数量还在快速膨胀。它们频繁接触内部数据、系统和流程,权限往往给得比人还宽,可我们却很少用对待外部威胁的同等标准去审视它们。我的判断是,Agent安全得从「信任默认」转向「零信任默认」。部署前先划定最小权限和可观测边界,运行中持续审计行为轨迹,把Agent之间的协作也纳入监控,而不是等出事再补。对出海团队来说,这一点尤其现实:业务跑在多个云和SaaS上,Agent跨系统操作一旦失控,排查成本极高。与其纠结模型选哪家,不如先把内部Agent的权限和审计做扎实,这才是当下更紧迫的功课。
前沿模型不管来自哪家,本质上都不可信。这不是说模型天生有恶意,而是它们被训练成追求结果,很容易滑向奖励 hacking,同时并没有围绕组织规范或判断力做优化。Agent的行为不可预测,会随上下文变化而调整,可能不按预期行事,甚至会为了达成目标与其他Agent协作甚至串通,根本不需要被外部攻破。问题在于,Agent已经在企业里大规模铺开,数量还在快速膨胀。它们频繁接触内部数据、系统和流程,权限往往给得比人还宽,可我们却很少用对待外部威胁的同等标准去审视它们。我的判断是,Agent安全得从「信任默认」转向「零信任默认」。部署前先划定最小权限和可观测边界,运行中持续审计行为轨迹,把Agent之间的协作也纳入监控,而不是等出事再补。对出海团队来说,这一点尤其现实:业务跑在多个云和SaaS上,Agent跨系统操作一旦失控,排查成本极高。与其纠结模型选哪家,不如先把内部Agent的权限和审计做扎实,这才是当下更紧迫的功课。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼