英伟达开源全家桶补齐端侧|出海闲聊
出海闲聊 · 帖子

英伟达开源全家桶补齐端侧

英伟达开源全家桶补齐端侧
英伟达这次把 Nemotron 3.5 系列铺开了,从数据中心一路覆盖到桌面和边缘设备。Super VL 是 120B 的开源模型,主打常驻型 agent 的任务完成速度和准确率;同时还有两个边缘模型 Bolt 74B-A9B(24GB)和 Bolt E4B(4GB),前者平衡本地 agent 的智能与速度,后者专攻快速对话场景。

这个产品矩阵的思路很清楚:Lightning 管高吞吐,Ultra 啃最难的推理,Bolt 负责把智能带到边缘。对做跨境工具和本地化 agent 的团队来说,这意味着不用再在「能力」和「可部署性」之间二选一,按自己的硬件层级挑一个就行。我比较在意的是 24GB 这个档位。它刚好卡在单张消费级显卡和入门工作站之间,对中小团队自建本地 agent 非常友好。以前想跑稍微像样的开源模型,要么上多卡,要么忍受量化后的精度损失,现在有了官方针对每 GB 智能优化的版本,落地成本会明显下降。当然,开源不等于免费午餐。120B 的 Super VL 部署起来对显存和推理框架仍有要求,边缘小模型在复杂任务上的上限也需要实测。我的判断是,这波真正受益的是那些有数据合规压力、又不想完全依赖闭源 API 的出海团队,可以先用 Bolt 做原型,再按需往上升级。Bolt E4B 要到 10 月 23 日才放出,节奏上留了个悬念。整体看,英伟达在开源模型上的投入比很多人预期更坚决,这对整个 agent 生态是好事,至少选择变多了,议价空间也大了。
2

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼