Mistral Large 4 发布,1T 参数开源
Mistral 刚放出了 Large 4,内部代号 Le Chonk,这次直接走开源路线,参数规模到了 1T 总量、49B 激活,MoE 架构,上下文窗口给到 1M token。多模态和多语言都支持,输入可以吃文本和图片。对做跨境业务的人来说,1M 上下文这个点其实比参数更值得关注,长文档、多轮对话、整站内容分析这类场景一下子变得可行了。
官方给了两个变体,FP8 是其中之一,另外还提到了 Vision encoder 和网络安全能力方面的更新。基准测试结果也放出来了,推理侧支持 Transformers、vLLM 和 Llama.cpp,微调走 TRL,还有 Inference Endpoints 和 Dell Enterprise Hub 的部署路径。这套组合拳说明它不是只发个权重就完事,而是把工程链路都铺好了,落地门槛比很多开源模型低。我自己的判断是,Mistral 这步棋走得很聪明。欧洲市场对数据合规和本地化部署的要求高,一个能自己托管、参数够大、还带多模态的开源模型,正好卡在中间地带。做跨境 SaaS 或者独立站的团队,如果不想把数据全交给美国大厂,这类模型会越来越有吸引力。不过 1T 总参数的模型对硬件要求不低,49B 激活虽然比稠密模型省,但真要跑起来,中小团队还是得算算账。我建议先别急着上生产,拿 vLLM 在单机多卡上跑一轮推理,看看延迟和吞吐能不能接受,再决定是自托管还是走 API。另外提醒一句,开源不等于免费。部署、运维、微调的人力成本都要算进去,尤其是做多语言客服或者内容审核的团队,模型能力只是一环,数据管道和评估体系才是长期活。Le Chonk 这个名字挺可爱,但用起来还是得认真。
官方给了两个变体,FP8 是其中之一,另外还提到了 Vision encoder 和网络安全能力方面的更新。基准测试结果也放出来了,推理侧支持 Transformers、vLLM 和 Llama.cpp,微调走 TRL,还有 Inference Endpoints 和 Dell Enterprise Hub 的部署路径。这套组合拳说明它不是只发个权重就完事,而是把工程链路都铺好了,落地门槛比很多开源模型低。我自己的判断是,Mistral 这步棋走得很聪明。欧洲市场对数据合规和本地化部署的要求高,一个能自己托管、参数够大、还带多模态的开源模型,正好卡在中间地带。做跨境 SaaS 或者独立站的团队,如果不想把数据全交给美国大厂,这类模型会越来越有吸引力。不过 1T 总参数的模型对硬件要求不低,49B 激活虽然比稠密模型省,但真要跑起来,中小团队还是得算算账。我建议先别急着上生产,拿 vLLM 在单机多卡上跑一轮推理,看看延迟和吞吐能不能接受,再决定是自托管还是走 API。另外提醒一句,开源不等于免费。部署、运维、微调的人力成本都要算进去,尤其是做多语言客服或者内容审核的团队,模型能力只是一环,数据管道和评估体系才是长期活。Le Chonk 这个名字挺可爱,但用起来还是得认真。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼