小模型自己造 成本十六美元

上周我想找一个轻量版的提示词改写模型，就是 Qwen-Image 2.1 里自带那个功能。官方版本是 9B 参数，跑起来要 20GB 内存，写一段话之前还要先想几千个 token，普通设备根本扛不住。我在模型社区翻了一圈，能找到的全是同一个 9B 模型的压缩版，没有真正适合本地跑的小家伙。

于是我干脆把需求描述给 ML Intern，第二天就拿到了一个 0.8B 的版本，纯 CPU 就能跑。它的有效输出率是 99.7%，消耗的 token 大约只有原来那个大模型的三分之一。整个项目算下来，包括让 9B 模型给 8797 条示例请求打标签，总共只花了 16 美元。这个数字让我有点意外，以前总觉得训模型是烧钱的活。接下来几天我用同样的方式又做了五个模型。每一个都是从 HuggingChat 里开 ML-intern 发一条消息开始，最后变成 Hub 上一个公开模型，模型卡里带着评测结果。ML-intern 会自己规划任务，动手前先问我预算，这种协作方式比我预想的顺手很多。我自己的判断是，这件事真正的意义不在省钱，而在于需求到模型的路径被压短了。以前你想要一个懂自己领域的模型，得先找团队、谈算力、排期，现在一句话描述清楚就能试。当然小模型不是万能的，它是在特定任务上蒸馏出来的，换个场景可能就不灵了，别指望一个 0.8B 打天下。对做出海工具的人来说，这意味着一件事：很多以前因为成本被砍掉的小功能，现在可以单独训个小模型塞进去。比如角色绘图、设备端推理这类场景，与其调用大 API，不如自己养一个专用的小家伙。前提是你得把数据准备好，并且接受它只擅长一件事。