Ai2 发布 Old Ideas, Novel Problems：LLM 能否判断研究想法的新颖性

Ai2 发布研究 Old Ideas, Novel Problems，并公开用于测试 LLM 新颖性判断的基准、数据和代码。研究基于 ICLR 2026 审稿意见构建两个数据集：Human-Only 含 154 篇高新颖性论文与 145 篇低新颖性论文，Human+Generated 将 154 个人类想法与 LLM 生成想法配对。测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个模型后发现，仅改动提示词中几个词，GPT-5.4 在 Human+Generated 上的准确率就从 93.5% 降到 40.9%，低于随机水平。增加检索和推理并未稳定提升判断，两个专用新颖性评估系统的表现也不如简单的 Claude Opus 4.6 提示词基线。