两行代码开启大模型评测之旅!OpenCompass 工具版本全面更新,快来试试看

大模型实战基础(六):6. OpenCompass 大模型性能评测 目标:从0开始学习LLM平台:InternStudio开发机教程:书生大模型实战营提示:以下是基于书生大模型实战营(第四期)——基础岛:OpenCompass 评测书生大模型实践的学习内容OpenCompass是一个面向大语言模型的能力评价体系,从通用人工智能的角度出发,结合学术界的前沿进展和工业界的最佳实践,提出一套面向实际应用的模型能力评价体系,包括通用能力和特色能力两大部分。 阅读详情
AI摘要

OpenCompass大语言模型评测工具链体系CompassKit迎来重大更新,带来基于pip一键安装、评测集自动下载、兼容OpenAI标准接口等新功能,还引入主观评测、代码解释器评测等进阶评测能力,同时支持社区共建。

作为 OpenCompass 司南大模型评测体系三大核心模块之一的评测工具链体系 CompassKit 近日迎来重大更新!​
本次更新主要集中在 OpenCompass 大语言模型评测工具,主要带来了以下几大新功能,欢迎大家使用!​

  • 基于 pip 的一键安装,支持多推理后端版本​
  • 支持评测集自动下载,无需复杂配置即可快速评测​
  • 兼容 OpenAI 标准接口,支持 vLLM 和 LMDeploy 推理后端​
  • 提供进阶评测能力(主观评测、长文本评测、代码解释器评测)​

​OpenCompass 大语言模型评测工具开源链接:

​https://github.com/open-compass/opencompass​
官方网站:​

https://opencompass.org.cn/home​
用户文档:​

https://opencompass.readthedocs.io/en/latest/

接下来就带大家一起来了解下新功能的使用方法!​

一键式丝滑安装 ​

OpenCompass 正式支持基于 PyPI 包安装的方式进行评测,告别繁琐的配置流程,现在仅需在命令行中输入两行代码即可开始你的第一次大模型评测之旅。 

# pip 安装​
pip install opencompass​
# 进行示例任务评测​
opencompass --models hf_internlm2_5_1_8b_chat --datasets demo_gsm8k_chat_gen

此外,针对不同用户的需求,我们提供了多样化的安装选项。无论你是需要处理复杂数据集的研究人员,还是希望使用推理后端加速评测的专业人士,或是希望利用外部 API 进行模型评测的开发者,OpenCompass 都能满足您的需求。​
OpenCompass 现已支持 vLLM 和 LMDeploy 不同推理后端的安装方式。

# 安装基于LMDeploy推理后端的环境​
  pip install "opencompass[lmdeploy]"​
  ​
  # 安装基于vLLM推理后端的环境​
  pip install "opencompass[vllm]"

评测数据集自动下载​

OpenCompass 联合 ModelScope 为国内用户提供多样化的数据下载途径。用户可以选择从 OpenCompass 存储服务器或 ModelScope 平台自动下载数据集,现已支持 MMLU、CMMLU、GSM8k、BBH 等主流评测数据集,未来还将持续扩充数据集种类与数量。一键下载,轻松获取,让您的评测之路更加顺畅!​


OpenAI 标准接口评测 ​

OpenCompass 现已支持 OpenAI 标准接口评测。您可以通过 LMDeploy、vLLM 或其他方式部署标准 OpenAI 接口模型服务,并在 OpenCompass 中轻松启动评测。这种方式实现了模型服务与评测服务的解耦,极大地提高了模型部署与评测的灵活性与效率。通过标准化接口,模型与平台之间的交互变得更加流畅,有效减少了因兼容性问题带来的困扰。​


使用推理后端加速评测​

未来进一步提高评测效率,OpenCompass 集成了 LMDeploy 和 vLLM 作为推理后端,用户可以通过 -a lmdeploy 或者 -a vllm 来使用推理后端大幅提升评测效率。​
未来 OpenCompass 也将会进一步集成更多社区流行的推理后端,如 SGLang/Ollama 等。

更多使用细节可以参考:​
https://opencompass.readthedocs.io/zh-cn/latest/advanced_guides/accelerator_intro.html 

进阶评测​

除了标准的客观评测,OpenCompass 也引入了多个进阶能力维度,如主观评测、代码解释器评测以及大海捞针评测等。

主观评测​

主观评测作为模型评测的重要部分,往往反映了模型对人类 instruction 的理解后的遵循与表达能力,与用户的主观体验息息相关。目前 OpenCompass 已支持多个社区里主要流行的主观测试集,包括 Alignbench、MT-Bench、 MT-Bench-101、AlpacaEval、 WildBench、Arenahard、FoFo 等,从中英文、多轮对话等方面测试模型的主观表达能力。用户只需要在配置文件中指定好待测模型即可一键启动主观评测。

更多主观评测介绍可参考:​
https://opencompass.readthedocs.io/zh-cn/latest/advanced_guides/subjective_evaluation.html

代码解释器评测 ​

使用代码工具来辅助解决各类实际问题,也是目前大模型应用的典型场景,ChatGPT 中也引入了代码解释器能力。OpenCompass 团队面向代码解释器能力推出了 CIBench,涵盖数据科学的多个常用软件,如 numpy、pandas、opencv、matplotlib 等,在任务设置上构建了多轮连续对话,同时支持 Oracle 和端到端两种模式,引入了多种评价指标。 

CIBench 评测集介绍

CIBench 端到端评测和 Oracle 评测模式介绍 

更多信息可参考:​
https://github.com/open-compass/CIBench 

大海捞针评测 ​

OpenCompass 现已支持了超过 1百万上下文的大海捞针评测,基于团队自研的 NeedleBench 支持单针检索,多针检索和多针推理等多种任务。基于 LMDeploy 的高效推理能力,可以轻松完成超长上下文下的大海捞针评测。

NeedleBench 数据集介绍 

更多信息可参考:​
https://opencompass.readthedocs.io/zh-cn/latest/advanced_guides/needleinahaystack_eval.html

社区共建​

OpenCompass 的发展离不开社区的支持,欢迎大家将大模型评测方向上的最新前沿成果集成到 OpenCompass 开源算法库。我们也将一如既往地将最前沿的评测技术持续贡献给社区,支持产业界和学术界的模型研发和探索。​

欢迎在 OpenCompass 评测工具链增加新的评测集: https://opencompass.readthedocs.io/en/latest/advanced_guides/new_dataset.html​
欢迎贡献您的的评测集到评测集社区:​
https://hub.opencompass.org.cn/home

OpenCompass 评测(第四期) 前期准备:后面本地测评需要较大的GPU,建议开30%A00的。 阅读详情

相关推荐

LLM大语言模型训练推理- 推理精度测试

本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试,数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen;以及使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等,该工具为离线测评,不需要启动推理服务,目前支持大语言模型。

2404_89367113的博客 2477

OpenCompass 初体验,新手如何跑通第一个模型评测

本文介绍如何跑通第一个 OpenCompass 评测模型!

日常学习与专研的记录 1万+

[大模型评测]-OpenCompass本地部署手册及使用方案

本文介绍了OpenCompass大语言模型评测平台的本地部署方法及使用方案。主要内容包括:1)环境搭建,通过conda创建Python 3.10环境并安装PyTorch;2)安装OpenCompass的三种方式(pip基本/完整安装、源码安装);3)数据集准备,支持Hugging Face、ModelScope及自定义数据集;4)本地模型评测配置,包括Hugging Face模型配置文件和评测任务设置(命令行或Python脚本方式)。OpenCompass支持多种主流大模型评测,提供灵活的数据集加载和任务配

2044

【OpenCompass 大模型评测——笔记】

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型:一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型(如OpenAI的GPT-3,Meta的LLaMA),往往具有强大的文字续写能力。对话模型:一般是在的基座模型的基础上,经过指令微调或人类偏好对齐获得的模型(如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语),能理解人类指令,具有较强的对话能力。

YYYYbhjbhkv_的博客 3249

OpenCompass 评测平台使用,评测Qwen-0.5B 和 Qwen-1.8B

对和对话模型在三个数据集上进行对比评测。评测平台地址:👉在该平台上,你可以:查看已有模型的评测排名提交自己的模型进行评测对比不同模型的性能。

qq_60245590的博客 1459

使用opencompass验证模型效果

参考其他模型的测试脚本,会发现其实是没给测试数据集。中的代码,但是我们配置好openai的key之后,直接运行。:参数应该是模型名称缩写的意思(如果我没理解错的话):few shot拼接的模板,不加该参数效果会差很多。:参数是fastchat启动模型时设置的模型名称。:每秒请求的次数,根据自己服务的QPS来设置就好。没见什么报错后,开始测试我们自己的模型。了,我们使用的是自己的模型,所以设置为。,直接传prompt给模型作为输入,加。:设置为0就好了,使用贪心解码。好了,以上步骤完成后,执行。

qq_44193969的博客 1085

AI大模型系列:OpenCompass(司南)大模型测评工具介绍和实践

OpenCompass是一个一站式的大模型评估平台,旨在为大模型评估提供一个公平、开放和可复制的基准。它不仅量化了模型在知识、语言、理解、推理等方面的能力,还推动了模型的迭代和优化。

pythonhy的博客 4335

Multisim电容三点式振荡电路仿真:起振设置与波形调试全解析

振荡电路是高频电子线路中的核心基础,其本质是利用正反馈将微弱扰动放大为稳定的正弦波。在Multisim等仿真工具中,理想模型缺少真实噪声源,导致电路常常“纹丝不动”,这并非电路错误,而是起振条件未满足。理解LC谐振选频特性和环路增益原理,是解决仿真失败的关键。人为引入上电冲击或设置初始条件,可有效激励回路起振。这一技术不仅适用于课堂验证,更能帮助电子爱好者快速排查电路参数问题。通过完整的电容三点式振荡电路搭建案例,从元件选型、直流工作点校核到瞬态分析配置,配合示波器与FFT频谱验证,系统演示如何让仿真器输出

weixin_42653691的博客 274

大模型评测平台OpenCompass

OpenCompass 是面向大模型评测的一站式平台。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 50+ 个数据集约 30 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测多样化评测范式:支持零样本、小样本及思维链评测,结合标准型或对话型提示词模板,轻松激发各种模型最大性能灵活化拓展:想增加新模型或数据集?

yanqianglifei的专栏 2838

实战指南 | 利用TSMaster的C小程序实时监控DBC报文发送周期

本文提供了一份利用TSMaster的C小程序实时监控DBC报文发送周期的实战指南。通过创建用户变量、编写C小程序核心逻辑并关联图形模块,工程师可以直观地可视化关键报文(如ID 0x64)的发送间隔,从而快速发现周期异常,提升汽车电子开发和测试中总线问题定位的效率与实时性。

weixin_29178069的博客 418

微信小程序 | 小程序开发

事实上,目前小程序在我们生活中已经随处可见(特别是这次疫情的推动,不管是什么岗位、什么年龄阶段的人,到哪都需要打开健康码)WePY是由腾讯开源的,一款让小程序支持组件化开发的框架,通过预编译的手段让开发者可以选择自己喜欢的开发风格去开发小程序。Mpvue是一个使用Vue开发小程序的前端框架,也是 支持 微信小程序、百度智能小程序,头条小程序 和 支付宝小程序;微信小程序、支付宝小程序、淘宝小程序、抖音小程序、头条小程序、QQ小程序、美团小程序等。,其他平台的小程序往往是平台本身的一些公司或者顺手开发的。

CoderHing的博客~ 1万+

大模型系列:OpenCompass(司南)大模型测评工具介绍和实践

OpenCompass,也称为“司南”,是由上海人工智能实验室发布的一个开源的大模型评测体系,已经成为目前权威的大型模型评估平台,本篇介绍如何使用OpenCompass进行大模型测评,以及其中涉及的相关知识。OpenCompass概述介绍OpenCompass下载安装OpenCompass快速开始ppl、gen两种测评方式区别简述OpenCompass的Prompt构建数据集、测评指标、模型推理的配置测评结果可视化在前文《大模型系列:LLM-Eval大模型评测理论简述》

2401_85325397的博客 7000

PLC编程进阶:结构体(UDT)与功能块(FB)的模块化实践指南

本文深入探讨了PLC编程中实现模块化的核心方法,重点解析了结构体(UDT)与功能块(FB)的协同应用。通过将零散数据封装为UDT,并将控制逻辑打包为可复用的FB,能够构建出结构清晰、易于维护和调试的PLC程序。文章结合拧紧枪、电机控制等实战案例,提供了从设计原则到分层架构的完整实践指南,旨在帮助工程师将混乱的‘面条式’代码改造为高效的‘正规军’。

s3t4u的博客 223

「浦语大模型笔记六」opencompass模型评测

1.工具架构2.步骤配置->推理->评估->可视化。配置:这是整个工作流的起点。您需要配置整个评估过程,选择要评估的模型和数据集。此外,还可以选择评估策略、计算后端等,并定义显示结果的方式。推理与评估:在这个阶段,OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出,而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率,但请注意,如果计算资源有限,这种策略可能会使评测变得更慢。可视化。

ljn20001229的博客 2241

Klocwork安装

简单介绍一下Klocwork在windows下的安装,操作系统是win7,Klocwork的版本是10.0。 第一步:由于Klocwork的安装程序已十分成熟,所以在安装之前不需要什么准备共走。双击Klocwork的安装包,会出现下图的安装引导界面,点击Next按钮。 第二步:下图是协议界面,点击Next按钮。 第三步:选择Klocwork的安装目录,点击Next按钮 第四步:

旮旯 9932

S7-1200PLC 2轴直线插补详细算法(完整源代码)

速度轴V90PN总线伺服梯形加减速速度控制(标准报文1应用)_v90伺服加减速时间怎么调整-CSDN博客文章浏览阅读288次。

RXXW_Dor的博客 4264

OpenCompass 大模型评测

本文介绍了大模型评测的重要性、需要测试的方面,以及不同的评测方案。介绍了OpenCompass 框架的特点和优势。此外,还讨论了OpenCompass 实战的安装和准备工作,以及数据集的配置和评测设置。最后,介绍了评测中设置模型参数的方法和注意事项。

George_han的博客 1048

基于LSTM GRU RNN的交通流量预测-完整数据代码

基于LSTM GRU RNN的交通流量预测-完整数据代码

923

opencompass大模型评测

#

mnwl12_0的博客 1146

51单片机计算器(源程序+流程图+答辩报告+综合设计)

保姆级讲解!C语言编程,使用51单片机及LCD1602显示屏实现!

m0_57007304的博客 2万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

7-OpenCompass 大模型评测实战

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。

wengad的博客 1184

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

大模型评估测试—OpenCompass

OpenCompas是书生蒲语公司的一个开源项目,旨在为机器学习和自然语言处理领域提供多功能、易于使用的工具和框架。其中包含的多个开源模型和开源数据集(BenchMarks),方便进行模型的效果评测。目前支持.jsonl和.csv两种格式的数据集。

qq_45975143的博客 1755

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

OpenCompass 大模型评估工具安装指南

OpenCompass 是一个功能强大的大语言模型评估工具,支持对各类开源和商业模型进行全面的能力评测。本文将详细介绍如何正确安装和配置 OpenCompass 环境,帮助开发者快速上手使用。 ## 基础环境安装 ### 1. 创建 Conda 虚拟环境 推荐使用 Conda 管理 Python 环境以避免依赖冲突: ```bash conda create --name opencomp...

gitblog_00631的博客 822

AI大模型系列:OpenCompass(司南)大模型测评工具介绍和实践(附教程)

本篇介绍了如何快速上手和理解OpenCompass,对于该项目来说所介绍的内容只是冰山一角,有兴趣的读者可以自行阅读官方文档,全文完毕。

pythonhy的博客 1658

使用OpenCompass评测rwkv模型教程

继续文章里面提到的想法,探索一下使用OpenCompass来评测RWKV模型,对模型的实际表现有一个更客观的了解。我在尝试的过程中也碰到了一些问题,所以这里记录一下使用OpenCompass评测的流程以及在评测RWKV过程中解决的问题。这里主要是记录如何跑通,后续可能会跑一下榜单去对比一下其它的模型。目前使用这个fork的版本(https://github.com/BBuf/opencompass)就可以正常做RWKV系列模型的评测了。

I good vegetable a! 1698
上一篇: Compass Arena 上新啦!新增双多模态模型匿名对战
下一篇: 司南 OpenCompass 九月大语言模型评测榜单启动召集,欢迎新合作厂商申请评测
司南评测
博客等级 码龄2年 536粉丝 113原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值