Strata 支持 Mac 并新增 35B 小模型
最近 Strata 连续更新了两个版本,一个开始支持 Apple Silicon Mac,另一个新增了体积更小的 Qwen3.6-35B-A3B 模型。作为一直在折腾本地推理的人,我觉得这次更新比单纯堆参数更有意义,因为它把门槛又往下压了一截。
先看硬件支持。目前 Strata 覆盖 NVIDIA RTX 20 到 50 系列、AMD RX 6000/7000/9000 部分型号,Intel Arc 和 Apple Silicon 是实验性支持。官方建议至少 12GB 显存,同时系统内存要 32GB 起步,显存越大缓存参数越多、速度越快。只有 12GB 显存的话,推荐跑 35B 模型的低量化版本。新模型 Qwen3.6-35B-A3B 目前只支持 NVIDIA 和 AMD,Intel Arc 和 Mac 暂时用不了。这一点需要留意,Mac 用户虽然能装 Strata,但想跑这个新模型还得等后续适配。我的判断是,Strata 的路线很清晰:不追求单机跑满血大模型,而是用激活参数小的模型加显存缓存来换体验。35B 这个尺寸对多数家用卡更友好,低量化后 12GB 显存也能碰一碰,比之前 125B 那种只能远观的方案务实得多。如果你手头是 8GB 显存加 32GB 内存的普通机器,现在可以认真考虑试一下了。先确认显卡在支持列表里,再挑低量化版本,别一上来就冲高精度。
先看硬件支持。目前 Strata 覆盖 NVIDIA RTX 20 到 50 系列、AMD RX 6000/7000/9000 部分型号,Intel Arc 和 Apple Silicon 是实验性支持。官方建议至少 12GB 显存,同时系统内存要 32GB 起步,显存越大缓存参数越多、速度越快。只有 12GB 显存的话,推荐跑 35B 模型的低量化版本。新模型 Qwen3.6-35B-A3B 目前只支持 NVIDIA 和 AMD,Intel Arc 和 Mac 暂时用不了。这一点需要留意,Mac 用户虽然能装 Strata,但想跑这个新模型还得等后续适配。我的判断是,Strata 的路线很清晰:不追求单机跑满血大模型,而是用激活参数小的模型加显存缓存来换体验。35B 这个尺寸对多数家用卡更友好,低量化后 12GB 显存也能碰一碰,比之前 125B 那种只能远观的方案务实得多。如果你手头是 8GB 显存加 32GB 内存的普通机器,现在可以认真考虑试一下了。先确认显卡在支持列表里,再挑低量化版本,别一上来就冲高精度。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼