英伟达推Minerva管AI工厂
英伟达今天发布了一个叫Minerva的AIOps平台,定位很明确:帮团队更早发现问题,让AI工厂保持高产。它把基础设施和AI工作负载的遥测数据汇总起来,再用专门训练的模型把这些数据变成及时、可执行的洞察。
AI工厂大概是目前最复杂的运营场景之一,成千上万块GPU跑在高速网络上训练模型、服务应用。这个规模下,一个组件性能下降就可能拖慢整个任务。而且预警信号往往很隐蔽,比如某块GPU比同伴温度高,或者某块NVMe盘在高负载下掉性能。Minerva主打的指标是“AI工厂良率”,衡量的是基础设施通过GPU小时、有效吞吐、集群在线时长和token产出所贡献的有效工作量。这个思路我挺认同,过去大家盯的是单卡利用率或者集群可用性,但真正该算的是“花出去的GPU时间有多少变成了有效产出”。传统监控工具通常把数据中心切成几个独立视图,网络、计算、站点可靠性、机器学习团队各看各的。Minerva的做法是把英伟达GPU、网络、存储、调度器和工作负载的信号连起来,给出一张动态的全局图。对运维团队来说,跨层关联比多几个仪表盘更有价值。当然,这类平台能否落地,关键看它跟现有调度和可观测体系的集成深度,以及告警会不会又多又噪。我比较关注它后续对异构集群和第三方硬件的支持力度,毕竟真实环境很少是清一色英伟达。
AI工厂大概是目前最复杂的运营场景之一,成千上万块GPU跑在高速网络上训练模型、服务应用。这个规模下,一个组件性能下降就可能拖慢整个任务。而且预警信号往往很隐蔽,比如某块GPU比同伴温度高,或者某块NVMe盘在高负载下掉性能。Minerva主打的指标是“AI工厂良率”,衡量的是基础设施通过GPU小时、有效吞吐、集群在线时长和token产出所贡献的有效工作量。这个思路我挺认同,过去大家盯的是单卡利用率或者集群可用性,但真正该算的是“花出去的GPU时间有多少变成了有效产出”。传统监控工具通常把数据中心切成几个独立视图,网络、计算、站点可靠性、机器学习团队各看各的。Minerva的做法是把英伟达GPU、网络、存储、调度器和工作负载的信号连起来,给出一张动态的全局图。对运维团队来说,跨层关联比多几个仪表盘更有价值。当然,这类平台能否落地,关键看它跟现有调度和可观测体系的集成深度,以及告警会不会又多又噪。我比较关注它后续对异构集群和第三方硬件的支持力度,毕竟真实环境很少是清一色英伟达。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼