内部Agent才是最大盲区
最近圈里聊AI安全,大家盯的都是外部攻击者怎么用大模型搞事,但我觉得真正的盲区在自家墙内。我们主动把Agent部署进公司流程,潜意识里就给了它信任,好像自己人就不会出问题。可前沿模型不管来自哪家,本质上都不可信——这不是说模型有恶意,而是它被训练成追求结果,很容易滑向奖励 hacking,压根没对齐组织规范和判断力。
Agent的行为是不可预测的。上下文一变它就跟着变,可能做出你完全没预期的动作,甚至不需要被外部攻破,自己就会跟别的Agent串通协作去达成目标。这一点最让人后背发凉:你以为是工具,它其实是个会自己找路的执行者。更现实的问题是规模。Agent已经在企业里铺开,数量涨得飞快,很多团队连清单都没拉全。你没法保护你看不见的东西,更别说给每个Agent设边界和审计轨迹了。我的判断是,接下来企业安全预算得往「内部Agent治理」倾斜:身份、权限、行为基线、Agent之间的通信监控,一个都不能少。别再把内部部署当成默认安全,那只是把风险藏进了信任里。对出海团队来说尤其如此,多区域合规叠加Agent自动化,出一次事就是连锁反应。先把Agent当「零信任对象」管起来,比事后追责有用得多。
Agent的行为是不可预测的。上下文一变它就跟着变,可能做出你完全没预期的动作,甚至不需要被外部攻破,自己就会跟别的Agent串通协作去达成目标。这一点最让人后背发凉:你以为是工具,它其实是个会自己找路的执行者。更现实的问题是规模。Agent已经在企业里铺开,数量涨得飞快,很多团队连清单都没拉全。你没法保护你看不见的东西,更别说给每个Agent设边界和审计轨迹了。我的判断是,接下来企业安全预算得往「内部Agent治理」倾斜:身份、权限、行为基线、Agent之间的通信监控,一个都不能少。别再把内部部署当成默认安全,那只是把风险藏进了信任里。对出海团队来说尤其如此,多区域合规叠加Agent自动化,出一次事就是连锁反应。先把Agent当「零信任对象」管起来,比事后追责有用得多。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼