CWE-bench v2 开放百项安全任务

今天刷到 Collinear AI 更新了 CWE-bench v2，公开了 100 个安全任务，任何人都能跑模型做评测。这个基准的思路挺对我胃口：给 agent 一个真实开源仓库的 checkout 和一句简短指令，让它自己找漏洞并修好，还不能破坏原有功能。评分完全程序化，结果可复现，不用额外烧钱，这对做安全方向的小团队来说门槛低了不少。

我比较在意的是他们强调的「公平与难度」校准。所有检查项都经过 LLM 评审团打磨，方向是让任务既不过于送分也不至于无解。另外他们还留了一套 held-out 集，避免模型在公开题上过拟合，想测自己的模型得发邮件申请。这个设计比很多只放公开集的基准要诚实，至少能看出真实进步而不是刷榜。从攻防视角看，这类 benchmark 的价值在于逼着模型面对真实代码库的复杂度。防守方要预判所有可能的弱点，攻击方只要找到一个入口，这种不对称在 agent 评测里同样成立。所以我觉得 CWE-bench 更像是在测「模型能不能当靠谱的安全审计员」，而不是单纯比谁修 bug 快。当然，100 个任务对前沿能力的覆盖还是有限，真实仓库的依赖、构建和测试环境也容易成为噪音。如果 agent 卡在环境配置上而不是漏洞本身，分数就失真了。希望后续能公开更多关于任务分布和失败原因的统计，而不只是总分。对我们做跨境工具和 SaaS 的团队来说，这类基准可以拿来当内部红队演练的参考。与其等模型在榜上刷分，不如先在自己的代码库上跑一轮，看看 agent 到底能发现什么、又会误报什么。安全这件事，早暴露比晚暴露好。