算力堆不出智能,Sutton再开炮
图灵奖得主 Richard Sutton 最近又发话了,这次他直接说:光靠堆算力根本堆不出智能。作为那篇影响深远的《苦涩的教训》的作者,他这番表态其实挺值得琢磨的,因为很多人恰恰把「苦涩的教训」理解成了「无脑加算力就完事了」。
Sutton 的观点很明确:AI 科学需要更聪明的新方法,而且这个领域「远未完成」。他之前就批评过单纯 scaling 大语言模型的局限,甚至把合成数据称为「大错误」,还呼吁做那种带世界模型、能从自身经验里持续学习的 agent。这次的新文章基本是把这些立场又系统性地讲了一遍。我自己的判断是,Sutton 说的「算力不等于智能」和「苦涩的教训」其实不矛盾,只是被很多人简化误读了。苦涩的教训讲的是不要用人类先验去限制方法,让通用方法随算力增长而胜出;但 Sutton 现在强调的是,通用方法本身也得进化,不能停在「更大规模的下一 token 预测」上。他提到的一个点我觉得挺关键:真实世界是无限复杂的,把人类专业知识当成瓶颈反而会阻碍真正的 scaling。这话对做跨境 AI 产品的团队也有启发,别总想着用人工规则去补模型的短板,而是该想想怎么让系统自己从环境反馈里学。当然,Sutton 这套路线离落地还有距离,世界模型加持续学习的 agent 目前更多是研究议程。但作为从业者,我觉得至少得承认一点:如果整个行业只卷算力和数据量,那才是真的把「苦涩的教训」学歪了。
Sutton 的观点很明确:AI 科学需要更聪明的新方法,而且这个领域「远未完成」。他之前就批评过单纯 scaling 大语言模型的局限,甚至把合成数据称为「大错误」,还呼吁做那种带世界模型、能从自身经验里持续学习的 agent。这次的新文章基本是把这些立场又系统性地讲了一遍。我自己的判断是,Sutton 说的「算力不等于智能」和「苦涩的教训」其实不矛盾,只是被很多人简化误读了。苦涩的教训讲的是不要用人类先验去限制方法,让通用方法随算力增长而胜出;但 Sutton 现在强调的是,通用方法本身也得进化,不能停在「更大规模的下一 token 预测」上。他提到的一个点我觉得挺关键:真实世界是无限复杂的,把人类专业知识当成瓶颈反而会阻碍真正的 scaling。这话对做跨境 AI 产品的团队也有启发,别总想着用人工规则去补模型的短板,而是该想想怎么让系统自己从环境反馈里学。当然,Sutton 这套路线离落地还有距离,世界模型加持续学习的 agent 目前更多是研究议程。但作为从业者,我觉得至少得承认一点:如果整个行业只卷算力和数据量,那才是真的把「苦涩的教训」学歪了。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼