Meta 开源 8160 亿参数模型,苹果芯片能跑|出海闲聊
出海闲聊 · 帖子

Meta 开源 8160 亿参数模型,苹果芯片能跑

Meta 开源 8160 亿参数模型,苹果芯片能跑
Meta 这次放出的 Muse Spark Open 有点意思,8160 亿总参数、420 亿激活参数,还带 100 万 Token 上下文,纸面规格直接对标一线闭源模型。它主打的是「美国最强开放权重」,这个定位明显是冲着开源社区和监管叙事去的,不只是发个模型那么简单。

真正让我意外的是它对苹果 MLX 框架的适配。官方说模型针对 Apple Silicon 的统一内存做了优化,能跑在 M5 Ultra 的 Mac Studio 上,单机最高 512GB 内存,两台顶配拼起来就是 1TB 统一内存,刚好装下整个模型。这个思路挺务实:与其让大家抢 GPU,不如把高端 Mac 变成推理节点。不过从跨境和实际落地的角度看,我不会太早兴奋。开放权重不等于开箱即用,8160 亿参数的模型对内存带宽和推理框架的要求依然很高,两台顶配 Mac Studio 的成本也不低。对大多数团队来说,先观望社区量化版本和实际吞吐数据,比急着下单更理性。另一个值得关注的点是它已经上了 Hugging Face,这意味着下载、微调、二次分发的链路是通的。对做多语言、长上下文应用的团队来说,100 万 Token 上下文配合开放权重,确实给了自部署一个新的选项,尤其在数据合规敏感的场景里。我的判断是,这次发布更像一个信号:开放权重模型的军备竞赛已经从「参数多大」转向「能在什么硬件上跑」。苹果生态被正式拉进牌桌,接下来要看的是推理成本能不能真的降下来,以及社区会不会围绕 MLX 形成一套可复用的部署方案。
2

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼