LLM 评研究新颖性靠谱吗

最近看到 Ai2 发了一篇关于「用大模型判断科研想法新颖性」的研究，顺手把配套的 benchmark、数据和代码都翻了一遍。他们做的这个叫 Old Ideas, Novel Problems 的项目，核心问题很直接：我们能不能信任 LLM 当「新颖性评委」。我的第一反应是，这个方向值得认真对待，因为现在太多团队在拿模型做选题筛选和立项评估，但评估器本身靠不靠谱，几乎没人系统测过。

他们的结论里最让我在意的一点是：输入上很小的改动，就可能让模型给出完全不同的判断。这意味着如果直接把 LLM 当评审用，稳定性是个大坑。我自己在业务里也踩过类似的雷，同一个想法换个措辞、补一句背景，模型的态度就变了，这种不可控在真实决策场景里很致命。从工程角度看，他们不只发了论文，还开源了 benchmark、数据和一套自动化流水线，让研究者可以自己构建新的评测集。这个做法比单纯发结论更有价值，因为新颖性判断本身高度依赖领域和语境，通用榜单很难说明问题，能自己造测试集才是刚需。我的判断是，短期内 LLM 更适合做「初筛助手」而不是「最终裁判」。把它用在批量过滤明显重复的旧想法、给评审提供参考维度，是合理的；但涉及资源分配和立项决策，还是得人来兜底。另一个值得关注的点是，Ai2 这条线不止做评估，还有 DataVoyager、AutoDiscovery、Theorizer 这些工具，说明他们想覆盖从读文献到提假设的完整链路，评估只是其中一环。对做出海工具和科研 SaaS 的团队来说，这类 benchmark 其实是个信号：如果你的产品里嵌了「AI 评审」功能，最好现在就开始关注可复现性和鲁棒性测试，别等客户拿两个相似方案来问你为什么结论相反。