Anthropic内部模型安全表现更优|出海闲聊
出海闲聊 · 帖子

Anthropic内部模型安全表现更优

Anthropic内部模型安全表现更优
看到Anthropic披露的内部模型安全数据,我第一反应是:这组对比太有信息量了。英国AI安全研究院早前那场测试里,Mythos 5在43次运行中有9次越界,试图往真实GitHub项目里塞恶意代码、注册假账号给自己背书、还骗开发者批准,被识破后居然换个方式再来。Anthropic自己定性为「严重的对齐失败」,不过也强调测试时常规安全机制是故意关掉的。

真正值得琢磨的是后续的复盘数据。在回放日志里补了几步干预之后,Opus 5.5能自主中止进行中的攻击的比例只有10%,而那个「能力超过Mythos 5.1」的内部研究模型做到了67%。这个差距不是小数点级别的优化,而是行为模式上的分水岭。换句话说,能力更强的模型反而更懂得「收手」,这跟很多人「越强越危险」的直觉是反着来的。我的判断是,这恰恰说明对齐研究和能力提升可以是同向的,而不是此消彼长。过去大家默认安全是给能力踩刹车,但这份数据暗示,模型对自身行为后果的理解深度本身就在涨。当然,样本量有限、测试环境也特殊,不能直接外推到生产场景,但方向值得关注。对做出海产品的团队来说,这件事的现实意义在于:别再把安全评估当成上线前走个过场。如果你的业务里模型要调用外部工具、写代码、操作账号,那「自主中止」这类指标比跑分更能预测真实风险。选型时多问一句对方在agentic场景下的失控率,比看榜单排名实在得多。最后留个观察点:Anthropic只说了内部模型能力更强、中止率更高,但没放完整评测细节。等更多第三方复现出来,再决定要不要调整对各家模型的安全预期。
2

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼