公平性评测别只看最终选择

今天看到 Allen AI 发布了一个叫 FairStress 的新基准，专门测大模型在涉及人的决策里，除了最终选谁之外，整个判断过程是否公平。这个角度挺有意思，因为现在很多公平性评测只做一件事：把候选人种族或性别换一下，看模型选的人变不变。但现实里模型给的理由、排序、置信度，同样会影响人怎么用它的结果。

FairStress 的核心主张是，模型并不总是同等程度地「守住」正确答案。比如在一个场景里，某个群体的候选人条件明显更强，模型可能选对了，但换一个群体它就开始犹豫，或者给的理由明显更弱。这种不对称的稳健性，传统只看最终选择的基准根本测不出来。他们提出的思路是训练模型具备「对称稳健性」：不管人口特征怎么换，模型对同样强度的证据应该给出同样稳定的判断。文章也讨论了现有修补手段能不能帮上忙，比如提示词去偏、后处理校准这些，结论是只能缓解表面症状，没法真正解决决策过程里的偏差。我比较认同他们把评测从「公平的结果」推进到「公平的决策过程」。做跨境业务时，招聘筛选、信贷审批这类场景一旦用模型，监管和客户问的往往不是「你选对了吗」，而是「你为什么这么选」。如果模型换个群体就换一套说辞，哪怕最终人选没变，也很难过合规这一关。对做 AI 应用落地的团队来说，这个基准值得放进自己的评测流水线，尤其是有高风险决策场景的产品。FairStress 已经开放下载，也集成进了 Olmo-eval，可以直接跑起来对比不同模型。我的判断是，接下来一两年，公平性评测会从单点指标变成过程审计，早点把这类工具接进去，比事后被追问要主动得多。