12GB 显卡跑 DeepSeek 的新思路

看到 Strata 0.2.4 的更新，第一反应是这路子挺野：一张 RTX 3060 12GB 加 46GB 内存，就能跑 DeepSeek V4.1-Flash 的量化版，生成速度还能到每秒 8 到 10 个 token。对本地部署党来说，这个门槛已经低到有点不真实了，毕竟过去聊起这个体量的模型，大家默认都是多卡或者大内存工作站。

它核心的做法是「热门专家缓存」：MoE 架构每次生成只调用部分专家，Strata 把高频专家留在内存里，其余放 SSD，需要时再读。说白了就是拿硬盘换显存和内存，思路不新鲜，但工程上能做到可用速度，说明调度和缓存策略下了功夫。代价也很直接：至少 239GB 硬盘空间，而且必须是高速 NVMe，硬盘一慢，token 速度立刻塌。官方给了三档量化，我整理一下关键差异：
- IQ1_M 1.75-bit：压缩最狠，239GB，质量损失最大
- IQ2_XXS 2.00-bit：257GB，容量和质量折中
- IQ2_XS 2.25-bit：274GB，三者里最接近原版我的判断是，这套方案更适合「想在自己机器上摸到完整架构」的人，而不是追求生产级吞吐的团队。量化到 1.75-bit 肯定有损失，官方也说可能比想象中小，但具体任务上差多少，还得自己拿业务语料跑一遍才知道。另外 46GB 内存这个数很微妙，推荐 64GB 是有道理的，别卡着最低线配。放到跨境和出海场景里看，本地跑大模型最大的吸引力是数据不出境、调用成本可控，尤其适合处理敏感客户资料或做离线批处理。但 239GB 起步的硬盘占用和 SSD 寿命消耗，是容易被忽略的隐性成本。我会先观望一两个版本，等社区把真实速度和量化质量测出来，再决定要不要在自己的备用机上试。