公平性评测只看结果够吗

最近看到 FairStress 这个新基准，专门测大模型在涉及人的决策里对不同人群是否公平。它的切入点挺有意思：传统评测只看模型最后选了谁，比如把候选人性别对调后答案变不变，但模型在推理过程中是不是同样稳，其实没人管。

我自己的判断是，这个盲区比想象中严重。很多模型最终答案看着公平，但中间推理对某些群体的假设明显更苛刻，只是碰巧没影响结论。一旦场景稍微复杂一点，这种隐性偏差就会冒出来，而且很难靠事后审计发现。FairStress 把评测从「结果公平」推到「决策过程公平」，还配套放出了数据、代码和技术报告，并且接进了 Olmo-eval 评测工作台。对做跨境产品和招聘、信贷类 AI 应用的团队来说，这等于多了一个可以复现的检查项，而不是只看厂商给的漂亮分数。不过也别把它当万能药。基准测的是特定场景下的对称鲁棒性，真实业务里的群体定义、数据分布和合规要求都更复杂。我建议把它当成上线前的一道压力测试，重点看模型在不同人群上的推理一致性，而不是追求一个总分。更值得讨论的是，公平性到底该在训练阶段解决，还是靠评测倒逼。我的看法是两者都得有，但评测必须能暴露过程问题，否则大家只会继续优化最终答案。FairStress 至少把这个问题摆到了台面上，接下来就看有多少团队愿意真的用它。