中国AI实验室转向蒸馏GPT-6
最近看到一条挺有意思的行业动态,说中国几家AI实验室现在主要盯着OpenAI的GPT-6 Astra做蒸馏,而不是像以前那样把Anthropic的Claude当主要目标。据The Information报道,DeepSeek和月之暗面在训练最新模型时大量使用了Astra的输出,涉及Kimi K3.1 Pro和V4.1-Flash 1017这些版本。这个转向其实挺能说明问题的,说明防守方和攻击方之间的博弈一直在动态变化。
蒸馏这件事的关键在于能不能拿到模型隐藏的推理步骤,而OpenAI和Anthropic都明令禁止这种行为。月之暗面拒绝置评,DeepSeek也没回应置评请求,这种沉默本身就很耐人寻味。从技术角度看,如果拿不到推理链,蒸馏的效果会大打折扣,所以这些实验室必然是在想各种办法绕过限制。Claude以前是首选目标,但Anthropic明显收紧了防线。他们声称新方法能把攻击者能拉取的数据量削减90%到99%,这个数字如果属实,那基本等于把门焊死了。这也解释了为什么目标会转向OpenAI,不是Claude不香了,而是拿不到了。九月底OpenAI还报告了一次协同蒸馏行动,说涉及与月之暗面有关联的人员。OpenAI发言人的表态是公司非常重视这个问题,但到目前为止攻击者每次都能在新防御推出后调整战术。这种猫鼠游戏短期内恐怕不会结束,防御方永远在追赶。我个人的判断是,这件事反映出头部模型的护城河正在从能力本身转向防御能力。模型再强,如果输出被大量蒸馏,竞争优势就会被稀释。对出海做AI产品的团队来说,这也是个提醒:依赖单一模型输出做训练的风险越来越高,要么自建能力,要么就得面对随时可能收紧的接口政策。
蒸馏这件事的关键在于能不能拿到模型隐藏的推理步骤,而OpenAI和Anthropic都明令禁止这种行为。月之暗面拒绝置评,DeepSeek也没回应置评请求,这种沉默本身就很耐人寻味。从技术角度看,如果拿不到推理链,蒸馏的效果会大打折扣,所以这些实验室必然是在想各种办法绕过限制。Claude以前是首选目标,但Anthropic明显收紧了防线。他们声称新方法能把攻击者能拉取的数据量削减90%到99%,这个数字如果属实,那基本等于把门焊死了。这也解释了为什么目标会转向OpenAI,不是Claude不香了,而是拿不到了。九月底OpenAI还报告了一次协同蒸馏行动,说涉及与月之暗面有关联的人员。OpenAI发言人的表态是公司非常重视这个问题,但到目前为止攻击者每次都能在新防御推出后调整战术。这种猫鼠游戏短期内恐怕不会结束,防御方永远在追赶。我个人的判断是,这件事反映出头部模型的护城河正在从能力本身转向防御能力。模型再强,如果输出被大量蒸馏,竞争优势就会被稀释。对出海做AI产品的团队来说,这也是个提醒:依赖单一模型输出做训练的风险越来越高,要么自建能力,要么就得面对随时可能收紧的接口政策。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼