用聊天造出六个小模型

最近看到一位开发者分享的经历，挺有意思。他想给 Qwen-Image 2.1 配套的提示词改写器做个轻量版，官方那个 9B 模型要 20GB 显存，写一段话前还要思考几千个 token，门槛实在太高。他在模型社区里翻了一圈，只找到同一个 9B 模型的压缩版本，没有真正适合小设备的选择。

于是他干脆把需求描述给一个叫 ML Intern 的助手，第二天就拿到了一个 0.8B 的版本，能在 CPU 上跑。这个学生模型有效输出率 99.7%，token 消耗大约只有老师模型的四分之一。整个项目算下来只花了 16 美元，其中还包括让 9B 模型给 8797 条示例请求打标签的费用。这个成本结构很值得琢磨，真正的开销不在训练，而在数据标注。接下来几天他用同样的方式又做了五个模型，每个都从聊天窗口里的一句需求开始，最后变成模型社区上的公开模型，评估结果直接写进模型卡。助手会自己规划工作，动手前先问预算，流程相当自动化。我的判断是，这件事的意义不在于模型本身多强，而在于「按需造模型」的门槛被拉到了极低。以前做垂直小模型要组队、要算力预算、要标注团队，现在一个人对着聊天框说清楚场景就行。对出海团队来说，这意味着可以针对具体业务快速试错，比如客服话术改写、商品标题生成这类窄场景，不必再硬套通用大模型。当然也要冷静看待，0.8B 能覆盖的场景终究有限，复杂推理还是得靠大模型。但作为流水线上的一个环节，这种小模型在成本和延迟上的优势很难被忽视。真正该问的不是「要不要自己造」，而是「哪些环节值得自己造」。