AI做科研缺的不是算力是自省

最近看到 Epoch AI 和 Anthropic 的两组评测，结论挺扎心：现在的 AI agent 能跑实验、能写代码、能迭代方案，但一旦让它判断自己做得对不对，就开始露怯。换句话说，执行层面的能力已经溢出，科研判断力却还停在很浅的位置。

Epoch AI 的 InnovationEval 设计得很直接，让 agent 自己发明一种改进语言模型后训练的新方法，然后独立实现、测试、再优化。起点是大家熟悉的 GRPO，它把同一任务下的多个回答放在一起比较，给更好的那个更高奖励，通常是对整份解答打分。人类参考方案 SDPO 则会利用报错信息这类额外信号，做出更细粒度的反馈。问题就出在这里。agent 往往能把流程跑完，甚至给出看起来像模像样的结果，但它不太会主动怀疑自己的方案是不是只是碰巧有效。它缺少那种「这个提升可能来自噪声」「我的对照组设置有问题」的自我批判，也不太会提出真正跳出现有框架的假设。各大实验室的叙事却越来越激进。Google DeepMind 把 Co-Scientist 扩成了完整研究系统，OpenAI 去年九月也推出了所谓的自动化研究实习生，还规划到 2028 年 3 月让它变成在人类监督下的自主 AI 研究员。方向没错，但如果科学判断这一环补不上，所谓自主研究就很容易变成高产的论文生成器。我的判断是，接下来一两年真正拉开差距的，不是谁的 agent 能跑更多实验，而是谁能把「自我怀疑」做成可训练、可评测的能力。对做跨境工具和科研产品的团队来说，与其堆自动化流程，不如先想清楚：你的系统在什么条件下会承认自己错了。