Trainium 跑模型实测清单来了

最近看到 Hugging Face 上有人做了个挺实用的工具，专门回答一个问题：哪些 Transformers 模型能在 AWS Trainium 上不改代码直接跑起来。作者之前介绍过 TorchNeuron 这个原生 PyTorch 后端，理论上 Hub 上的模型都有机会跑，但「有机会」和「真能跑」之间差着不少坑，这个 Space 就是来填这个信息差的。

它的用法很直接：按下载量或趋势榜挑模型，输入名字就能查结果，每行会给出是否跑通、模型被切分到几个 Trainium 核心、包含编译在内的实际耗时，以及峰值显存占用。对我们这种要评估迁移成本的人来说，这几个数字比一句「支持」有用得多，至少能提前判断某个模型是不是值得往 Trainium 上迁。我比较认可作者对「跑通」的定义：不是加载成功就算数，而是用原生建模代码完整执行一遍，编译时间也计入墙钟时间。这其实挺苛刻的，但恰恰是生产环境关心的口径。很多模型在 GPU 上一把过，换到 Neuron 上可能卡在算子不支持或者动态 shape 上，这种清单能帮你少走弯路。当然也要客观看，这个 Space 目前覆盖的是热门模型的一个子集，没测到的不代表不能跑，只是还没人验证。另外单次运行的耗时受编译影响很大，第一次跑和缓存后的差距可能不小，看数据时别直接拿去估算线上吞吐。我的判断是，这类「实测数据集」比官方支持列表更有参考价值，因为它反映的是真实社区验证的结果。如果后面能持续更新、把失败原因也标出来，对做推理成本优化的团队会是个不错的选型入口。打算先拿自己常用的几个模型去查一遍，再决定要不要认真评估 Trainium 方案。