改0.016%权重,数学成绩翻六倍|出海闲聊
出海闲聊 · 帖子

改0.016%权重,数学成绩翻六倍

改0.016%权重,数学成绩翻六倍
最近看到 MIT CSAIL 的一个实验,挺开脑洞的:让 GPT-6 Astra 直接去读另一个模型的权重、定位问题、动手改参数,全程不走梯度训练。被改的是 Qwen3.5-0.8B,只动了 131072 个参数,占总权重的 0.016%,MATH-500 从 7.9% 拉到 48.1%,GSM8K 从 13.8% 涨到 67.1%,指令遵循也顺带变好了。他们把这事叫「权重空间编程」。

我的第一反应是兴奋,第二反应是警惕。兴奋在于,如果模型能直接读写另一个模型的权重,那 AI 优化 AI 的路径就不只是写训练代码、调超参,而是真的下沉到「数值」这一层了。以前我们改模型行为,要么改提示词,要么重新微调,现在等于给模型开了一个直接编辑「大脑」的接口。但质疑也很合理。Qwen 本身有重复推理的老毛病,数学题分数暴涨,很可能只是 Astra 把这个 bug 修掉了,而不是模型凭空长出了数学能力。换句话说,这更像一次精准的「外科手术」,而不是「阶跃式能力」的诞生。0.016% 听起来很小,但落在关键位置上的 13 万个参数,效果可能完全不成比例。对做跨境工具和 AI 应用的人来说,这件事的短期意义不在「不用训练了」,而在于模型诊断和修复多了一条新路子。比如线上模型出现某种固定模式的胡言乱语,未来也许能靠另一个模型直接定位到权重层面的异常,而不是只能靠 prompt 打补丁或者全量重训。当然,现在下结论还太早。实验规模只有 8 亿参数,目标也偏窄,换到更大的模型、更开放的任务上还能不能复现,是另一回事。我会继续盯着这个方向,但不会急着把「AI 改 AI」当成已经落地的生产力。
10

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼