大语言模型能否可靠判断科研想法的创新性？

研究团队发布 Old Ideas, Novel Problems 新研究，评估大语言模型判断科研想法创新性的可靠性。测试发现，仅微调提示词即可使模型判断准确率波动超过 50 个百分点，现有基准测试表明评估结果远不可靠。