Hugging Face 发布 LLM 评估新颖性研究结论不可靠

Hugging Face 发布 Old Ideas, Novel Problems 研究，发现仅微调提示词即可使大语言模型判断科研想法创新性的准确率波动超过 50 个百分点，现有基准测试表明评估结果远不可靠。 该研究涉及六款模型（GPT-5.1、GPT-5.2 等），测试显示微小改动导致判断结果差异巨大，结论指出新颖性评估本身缺乏可靠性。 团队称该基准及数据管道仅为起点，供研究者应用于新同行评审或未来新一代新颖性评估工具。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。