一、文章主要内容总结
本文来自上海人工智能实验室PrismaX团队,针对现有科学领域多模态大语言模型(MLLMs)基准测试仅侧重知识理解、忽视感知与推理能力评估的缺陷,提出了Scientists’ First Exam(SFE)基准测试。该基准旨在从三个认知层面全面评估MLLMs的科学认知能力:科学信号感知(L1,识别科学原始数据可视化中的关键组件)、科学属性理解(L2,解读领域专家知识)、科学比较推理(L3,通过多科学视觉源的结构化比较推导现象洞察)。
SFE涵盖5个高价值学科(天文学、化学、地球科学、生命科学、材料科学)、66个专家精选的多模态任务,包含830个专家验证的视觉问答(VQA)对,支持中英双语,采用17种原生科学数据格式(如分子结构、光谱、雷达图等),覆盖选择题(MCQ)、精确匹配题(EM)、开放题(OQ)三种题型。
研究团队对16个主流开源和闭源MLLMs进行了全面评估,结果显示当前最先进的模型(如GPT-o3、InternVL-3)在SFE上的平均得分仅为34.08%和26.52%,表明MLLMs在科学领域仍有巨大提升空间。此外,研究还发现:闭源模型整体表现优于开源模型;材料科学是模型表现最佳的领域,天文学则最具挑战性;新一代模型在L3比较推理任务上进步显著,但L2属性理解能力提升有限,反映出模型推理能力的优化而非单纯的知识扩展。
二、文章创新点
- 认知分层的评估框架:首次提出“科学信号感知-科学属性理解-科学比较推理”三级认知分类体系,实现对MLLMs科学
订阅专栏 解锁全文
167



被折叠的 条评论
为什么被折叠?



