T5注意力改动让UMT5偷看答案

最近看到 Hugging Face 团队复盘的一个案例，挺有感触。今年 7 月底 Transformers 给 T5 启用 PyTorch 的 SDPA 加速，结果副作用是 UMT5 的解码器能注意到未来 token，训练时等于偷看答案。整个过程没有任何报错，这个 bug 在主分支上躺了将近两个月才被发现。

事后他们用一个小 UMT5 模型在 CPU 上回放那些提交，每一个都能稳定复现问题。这说明不是测试不够多，而是测试的粒度没对上。Transformers 支持 750 多种模型，主分支光 CPU 测试就有 8.8 万个，每天还有 20 多万个 GPU 测试，但集成测试要加载真实 checkpoint、跑真实硬件，全塞进每个 PR 根本不现实。我觉得这件事给做模型集成的团队提了个醒：大而全的回归测试覆盖不了这种「静默正确性」问题。注意力掩码错了不会崩，只会让指标悄悄变好看，等上线才发现模型在作弊。与其堆测试数量，不如针对关键路径养几个小而快的哨兵模型，每次改动都跑一遍。另一个值得琢磨的点是，这类 bug 往往藏在「优化」里。启用 SDPA 本身是好事，性能提升明显，但优化路径和原始实现的行为差异需要专门的对照测试。我的判断是，模型库应该把「等价性验证」当成基础设施来做，而不是等出事再补。对出海做 AI 产品的团队来说，这也是个成本提醒：别默认上游库的默认行为永远正确。关键模型升级依赖版本时，自己留一套最小复现用例，比事后排查便宜得多。