8GB显存跑千亿大模型，靠谱吗

最近几天，一个叫 Strata 的开源项目在圈子里传得挺火，核心卖点就一句话：8GB 显存的普通电脑，也能在本地跑起 1250 亿参数的 Qwen3.8-Flash-Next。我第一反应是标题党，毕竟 8GB 显存连个 70B 的量化模型都费劲，千亿级别听着就不太现实。但翻了下项目说明，思路其实挺聪明，不是硬塞，而是把模型拆开放在不同层级的存储里。

它的做法是把模型的一部分留在显存，一部分丢进系统内存，还有一部分直接放到 SSD 上，靠调度把需要的那块换进来。这样一来，显存需求就被压到了 8GB 这个级别，代价是推理速度肯定没法跟全量加载比。项目方列出的适配显卡名单很长，RTX 5070、3060、4060 Ti、3090，AMD 那边的 RX 9070 XT、9060 XT、7800 XT 都在内，连 Quadro RTX 4000 和 TITAN RTX 这种老卡也能凑合。硬件门槛是 8GB 显存加 16GB 内存，基本就是一台普通游戏本的配置。我比较在意的是「能用起来」这四个字。Qwen3.8-Flash-Next 是今年 8 月发布的开源模型，1250 亿参数，部分编程和推理测试里成绩据说超过了 Claude Opus 4.6。如果真能在本地以可接受的速度跑起来，对做跨境工具、需要处理敏感数据又不想上云的团队来说，意义不小。但 SSD 换入换出带来的延迟，决定了它更适合离线批处理或者低频问答，而不是实时对话。