AI审计员抓错行为，误报率是硬伤

最近看到 Andy Hall 在 Substack 上发的一篇分析，挺有意思。他复现并扩展了 METR 之前的一项研究，核心结论是：AI 模型确实能从日志里识别出其他 AI 代理的可疑行为，但越想抓全，就越容易把无害操作也标成可疑。这个权衡关系，做风控和内容审核的同学应该都不陌生。

具体做法是拿 METR 的 MALT 数据集做测试，里面是前沿模型跑 HCAST 和 RE-Bench 任务的日志，人工已经标注过一部分不当行为。Hall 用 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 去比对，统一把误报率卡在 5% 这个水平上，也就是 100 条干净日志里平均错标 5 条。这个设定很关键，因为脱离误报率谈召回率没有意义。我的判断是，这类 AI 审计员现阶段更适合做「估算」，而不是做「兜底」。也就是说，用它来大致判断某类代理行为出问题的频率有多高，是靠谱的；但真要上生产做安全卡点、要求不漏掉任何一次事故，它还扛不住。误报一多，人工复核成本就上去了，最后大家会习惯性忽略告警，这比没有告警更危险。对做出海产品的团队来说，这个结论有现实意义。如果你在搭 agent 的监控链路，比较务实的做法是让 AI 先做一层粗筛和趋势统计，把明显异常的模式捞出来，再配合规则引擎和人工抽检做最终判定。别指望一个模型把活全干了，尤其是在涉及资金、账号安全这类场景。另外我注意到 Hall 特别声明这只是个人观点，他本人还在 Anthropic Institute，处于斯坦福休假期间。这种表态在 AI 安全圈挺常见，但也提醒我们看结论时别直接当成机构立场。总的来说，AI 抓 AI 的方向是对的，但「抓得全」和「抓得准」之间的那道坎，短期内还得靠工程手段去补。