花16美元蒸馏出0.8B小模型

上周我想给 Qwen-Image 2.1 配一个轻量版的提示词改写器，官方那个 9B 模型要占大约 20GB 显存，写一段话之前还要思考上千个 token，本地根本跑不动。在模型社区里翻了一圈，能找到的只有同一个 9B 的压缩版本，没人做过真正的小号替代品。于是我干脆把需求描述给 ML Intern，第二天就拿到了一个 0.8B、能在 CPU 上跑的版本，有效输出率 99.7%，token 消耗大约只有教师模型的四分之一。

最让我意外的是成本。整个项目算下来只花了 16 美元，这里面还包括让 9B 模型给 8797 条示例请求打标签的开销。放在两年前，这种规模的蒸馏实验光是标注和算力预算就够劝退个人开发者了，现在一顿饭钱就能跑完。接下来几天我用同样的流程又做了五个模型，每个都是从 HuggingChat 里开启 ML-intern 的一条消息开始，最后都变成了 Hub 上的公开模型，评估结果直接写在模型卡里。ML-intern 会自己规划任务，动手前先问我预算，整个过程更像带一个实习生而不是调一堆脚本。我自己的判断是，这件事真正的信号不是某个模型多强，而是「按需造模型」的门槛已经低到个人可以随手尝试。以前我们习惯去 Hub 上找现成的，找不到就妥协；现在更合理的做法是先想清楚自己要什么，再让工具去生成。对做跨境工具和 AI 应用的团队来说，这意味着很多过去因为体积和成本放弃的端侧场景，可以重新捡起来评估了。当然也别高兴太早，蒸馏出来的小模型在边界 case 上大概率还是不如教师模型稳，0.8B 能覆盖的是高频路径。我的建议是先把评测集搭好，再决定要不要压到这么小，否则省下的算力可能都赔在返工上。