Trainium 跑模型实测清单来了

最近看到一个挺实用的工具，专门回答「这个模型到底能不能在 AWS Trainium 上跑」这个问题。它基于 torch-neuronx 这个原生 PyTorch 后端，让 Transformers 的建模代码可以像在其他设备上一样直接跑在 Trainium 上，理论上 Hub 上的模型都有机会跑通，但实际支持情况参差不齐。

这个 Space 的做法很直接：打开就是「精选」视图，从 Hub 上下载量和趋势榜里挑了一批热门模型，每行给出跑通结果、模型被切分到多少个 Trainium 核心、包含编译时间在内的实际耗时，以及峰值显存占用。想查某个具体模型，切到趋势或下载视图输入名字片段就行，排序逻辑跟 Hub 自己的榜单一致，按任务逐个展示，没测过的模型也会列出来。我觉得最有价值的一点是，它不只给结论，还附上让你自己复现的脚本。对做推理部署的团队来说，这比看一堆「已支持」的徽章靠谱得多，因为编译时间和峰值内存才是真正决定成本的东西。当然也要清醒：跑通不等于跑得好。一个模型能在 Trainium 上无改动运行，只说明兼容性过关，离生产可用还有性能调优的距离。选型时建议把这份清单当第一道筛子，再结合自己的 batch 和序列长度做二次验证。整体看，这类「支持矩阵 + 可复现脚本」的社区工具，比厂商单方面宣传更有参考价值。如果你手上有 Trainium 实例，不妨拿自己常用的模型去对一下，顺便把结果反馈回去，清单越全大家越省事。