英伟达Minerva盯上AI工厂良率
英伟达今天发布了一个叫Minerva的AIOps平台,定位很明确:帮团队更早发现问题,让AI工厂保持高产。它把基础设施和AI工作负载的遥测数据汇总到一起,再用专门训练的模型把这些数据变成及时、可执行的洞察。说白了,英伟达不想只卖铲子,还想卖矿场的体检服务。
AI工厂确实是世界上最复杂的运营场景之一,成千上万块GPU跑在高速网络上训练模型、服务应用。在这个规模下,一个组件性能下降就可能拖慢整个任务。而预警信号往往很容易被忽略,比如某块GPU比同伴温度更高,或者某块NVMe盘在高负载下掉速。这类问题靠人盯仪表盘基本没戏,必须靠自动化手段提前抓出来。Minerva的核心指标是「AI工厂良率」,衡量的是基础设施通过GPU小时、有效吞吐、集群可用性和token产出所贡献的有效工作量。这个提法挺有意思,它把AI基础设施从「堆卡」拉回到「产出」的视角。以前大家比的是有多少张H100,以后可能要比的是每张卡每小时到底产出了多少有效token。传统监控工具往往把数据中心切成互相独立的视图,网络、计算、站点可靠性和机器学习团队各看各的那一块。Minerva试图把英伟达GPU、网络、存储、调度器和工作负载的信号连起来,给出一张动态的全局图。方向是对的,但落地难点在于跨团队的数据打通和组织协作,工具只是第一步。我的判断是,这类平台对大规模集群的运营团队价值最大,中小规模用户短期内未必用得上。另外,英伟达自己做AIOps,和现有监控厂商的关系会变得微妙。对出海做AI基础设施的团队来说,值得关注的是它会不会绑定英伟达生态,以及良率这个指标会不会成为行业通用语言。
AI工厂确实是世界上最复杂的运营场景之一,成千上万块GPU跑在高速网络上训练模型、服务应用。在这个规模下,一个组件性能下降就可能拖慢整个任务。而预警信号往往很容易被忽略,比如某块GPU比同伴温度更高,或者某块NVMe盘在高负载下掉速。这类问题靠人盯仪表盘基本没戏,必须靠自动化手段提前抓出来。Minerva的核心指标是「AI工厂良率」,衡量的是基础设施通过GPU小时、有效吞吐、集群可用性和token产出所贡献的有效工作量。这个提法挺有意思,它把AI基础设施从「堆卡」拉回到「产出」的视角。以前大家比的是有多少张H100,以后可能要比的是每张卡每小时到底产出了多少有效token。传统监控工具往往把数据中心切成互相独立的视图,网络、计算、站点可靠性和机器学习团队各看各的那一块。Minerva试图把英伟达GPU、网络、存储、调度器和工作负载的信号连起来,给出一张动态的全局图。方向是对的,但落地难点在于跨团队的数据打通和组织协作,工具只是第一步。我的判断是,这类平台对大规模集群的运营团队价值最大,中小规模用户短期内未必用得上。另外,英伟达自己做AIOps,和现有监控厂商的关系会变得微妙。对出海做AI基础设施的团队来说,值得关注的是它会不会绑定英伟达生态,以及良率这个指标会不会成为行业通用语言。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼