书生大模型实战营第4期——基础篇6 OpenCompass 评测书生大模型实践1 OpenCompass介绍 OpenC

1 OpenCompass介绍

OpenCompass是一款针对大型语言模型（LLM）的评估平台，旨在助力通用人工智能的发展。它支持多个数据集下的各种模型评估，包括但不限于LLaMA、LLaMa2、ChatGLM2、ChatGPT和Claude等。通过构建全面、公正、公平的评测体系，OpenCompass为模型研发提供了方向，并在垂直领域如医疗和金融中发挥关键作用，确保模型的安全性和有效性。在模型选型、准出和产品落地过程中，OpenCompass担任守门员角色，确保模型的性能和质量。尽管面临全面性、数据污染、评测成本和鲁棒性等问题挑战，但OpenCompass仍然致力于推动人工智能领域的进步。

2 评测浦语 API （cmmlu）

2.1 安装环境

首先使用浦语的API评测cmmlu数据集，环境安装命令如下：

conda create -n opencompass python=3.10
conda activate opencompass

cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

2.2 评估脚本

首先到浦语获取api_key，然后写入环境变量：

export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key

接下来修改模型配置：

touch opencompass/configs/models/openai/puyu_api.py

import os
from opencompass.models import OpenAISDK


internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址
internlm_api_key = os.getenv('INTERNLM_API_KEY')

models = [
    dict(
        # abbr='internlm2.5-latest',
        type=OpenAISDK,
        path='internlm2.5-latest', # 请求服务时的 model name
        # 换成自己申请的APIkey
        key=internlm_api_key, # API key
        openai_api_base=internlm_url, # 服务地址
        rpm_verbose=True, # 是否打印请求速率
        query_per_second=0.16, # 服务请求速率
        max_out_len=1024, # 最大输出长度
        max_seq_len=4096, # 最大输入长度
        temperature=0.01, # 生成温度
        batch_size=1, # 批处理大小
        retry=3, # 重试次数
    )

然后修改数据集配置：

touch opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py

from mmengine import read_base

with read_base():
    from ..cmmlu.cmmlu_gen_c13365 import cmmlu_datasets


# 每个数据集只取前2个样本进行评测
for d in cmmlu_datasets:
    d['abbr'] = 'demo_' + d['abbr']
    d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.

最后启动评测命令：

python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

# 或：opencompass --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

2.3 评估结果

各子数据集评分如下：

3 评测LMDeploy部署的 InternLM2-Chat-1.8BI（ceval）

3.1 准备ceval数据

首先将数据集下载到本地:

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

3.2 安装和部署LMDeploy

pip install lmdeploy==0.6.1 openai==1.52.0
pip install importlib-metadata 
pip uninstall rouge
pip install  rouge==1.0.1
lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/ --server-port 23333

部署后显示如下就成功啦：

3.3 评估脚本

创建配置脚本： /root/opencompass/configs/models/hf_internlm/hf_internlm2_5_1_8b_chat_api.py

from opencompass.models import OpenAI

api_meta_template = dict(round=[
    dict(role='HUMAN', api_role='HUMAN'),
    dict(role='BOT', api_role='BOT', generate=True),
])

models = [
    dict(
        abbr='InternLM-2.5-1.8B-Chat',
        type=OpenAI,
        path='/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/', # 注册的模型名称
        key='sk-123456',
        openai_api_base='http://0.0.0.0:23333/v1/chat/completions', 
        meta_template=api_meta_template,
        query_per_second=1,
        max_out_len=2048,
        max_seq_len=4096,
        batch_size=8),
]

接着运行：

opencompass --models hf_internlm2_5_1_8b_chat_api --datasets ceval_gen --debug # opencompass 命令基本等价于 python run.py 命令

书生大模型实战营第4期——基础篇6 OpenCompass 评测书生大模型实践