Ai2 发布 LLM 新颖性判断基准，提示词微调致准确率骤降
先了解这件事
Ai2 发布研究《Old Ideas, Novel Problems》，并公开用于测试大模型判断研究想法新颖性的基准、数据和代码，以及一套可供研究者构建新评测集的自动化流程。研究结论是：LLM 的新颖性判断对提示词措辞高度敏感，增加检索和推理并未稳定提升表现。 研究基于 ICLR 2026 审稿意见构建两个数据集：Human-Only 含 154 篇高新颖性论文与 145 篇低新颖性论文；Human+Generated 将 154 个人类想法与 LLM 生成想法配对。测试对象为 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个模型。 结果显示，仅改动提示词中几个词，GPT-5.4 在 Human+Generated 上的准确率就从 93.5% 降到 40.9%，低于随机水平。Ai2 称，两个专用新颖性评估系统的表现也不如简单的 Claude Opus 4.6 提示词基线。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face BlogAi2 发布 Old Ideas, Novel Problems：LLM 能否判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，并公开用于测试 LLM 新颖性判断的基准、数据和代码。研究基于 ICLR 2026 审稿意见构建两个数据集：Human-Only 含 154 篇高新颖性论文与 145 篇低新颖性论文，Human+Generated 将 154 个人类想法与 LLM 生成想法配对。测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个模型后发现，仅改动提示词中几个词，GPT-5.4 在 Human+Generated 上的准确率就从 93.5% 降到 40.9%，低于随机水平。增加检索和推理并未稳定提升判断，两个专用新颖性评估系统的表现也不如简单的 Claude Opus 4.6 提示词基线。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月28日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。