大语言模型能否可靠判断科研想法的创新性?
研究团队发布 Old Ideas, Novel Problems 新研究,评估大语言模型判断科研想法创新性的可靠性。测试发现,仅微调提示词即可使模型判断准确率波动超过 50 个百分点,现有基准测试表明评估结果远不可靠。
研究团队发布 Old Ideas, Novel Problems 新研究,评估大语言模型判断科研想法创新性的可靠性。测试发现,仅微调提示词即可使模型判断准确率波动超过 50 个百分点,现有基准测试表明评估结果远不可靠。
Google DeepMind 与 Google Research 联合发布 Forest Typology 2020,将全球土地按 10 米分辨率划分为六种森林类型,并附带 2017 至 2025 年的变化时间序列,支持识别自然森林与人工种植的区别,为欧盟监管提供关键数据基准。
推荐理由:新地图提供 10 米分辨率的分类和年度变化数据,为欧盟监管和供应链追踪提供关键基准。
Google Earth AI 推出 Population Dynamics Foundation Model (PDFM),将隐私保护搜索趋势、人类移动性和环境决定因子压缩为位置嵌入,无需任务微调即可嵌入现有流行病学工作流。
推荐理由:PDFM 将隐私保护搜索趋势、人类移动性和环境决定因子压缩为位置嵌入,可无需任务微调直接嵌入现有流行病学工作流,在多种疾病领域匹配或超越传统输入效果。
GitHub 发布了 ReviewBench,一个针对 AI 代码审查器的开源基准测试,包含 219 个真实 PR 样本覆盖 19 种语言,采用多来源黄金集和独立验证的评分标准,支持按严重度和类别细分评估结果,并引入增强指标以捕捉新发现的问题。
推荐理由:ReviewBench 提供了基于多来源黄金集和可配置度数的评估指标,能客观衡量 AI 代码审查器的性能差异,帮助团队选择最适合工作流的审查系统。