一、背景
今天，继续我的大模型学习之旅，使用OpenCompass进行模型评测。
二、环境准备
- 下载安装opencompass代码库
conda create -n opencompass python=3.10
conda activate opencompass
cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2
pip install importlib-metadata
2. 获取API key 3. 打开网站浦语官方地址 internlm.intern-ai.org.cn/api/documen… 获得 api key 和 api 服务地址 (也可以从第三方平台 硅基流动 获取), 如下图：
三、评测API模型
- 新建API模型文件，如
opencompass/configs/models/openai/puyu_api.py, 然后打开文件, 贴入以下代码:
import os
from opencompass.models import OpenAISDK
internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址
internlm_api_key = os.getenv('INTERNLM_API_KEY')
models = [
dict(
# abbr='internlm2.5-latest',
type=OpenAISDK,
path='internlm2.5-latest', # 请求服务时的 model name
# 换成自己申请的APIkey
key=internlm_api_key, # API key
openai_api_base=internlm_url, # 服务地址
rpm_verbose=True, # 是否打印请求速率
query_per_second=0.16, # 服务请求速率
max_out_len=1024, # 最大输出长度
max_seq_len=4096, # 最大输入长度
temperature=0.01, # 生成温度
batch_size=1, # 批处理大小
retry=3, # 重试次数
)
]
2. 新建数据集文件opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py，然后打开文件，贴入以下代码：
from mmengine import read_base
with read_base():
from ..cmmlu.cmmlu_gen_c13365 import cmmlu_datasets
# 每个数据集只取前2个样本进行评测
for d in cmmlu_datasets:
d['abbr'] = 'demo_' + d['abbr']
d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.
3. 运行以下命令
python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug
结果如下图，并在outputs/default/20250208_222739/summary路径下可以看到详细报告。
四、评测本地模型
在这里，以评测 InternLM2.5-1.8B-Chat 在 C-Eval 数据集上的性能为例。
- 环境配置
cd /root/opencompass
conda activate opencompass
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia -y
apt-get update
apt-get install cmake
pip install protobuf==4.25.3
# 安装python相关库
pip uninstall numpy -y
pip install "numpy<2.0.0,>=1.23.4"
pip uninstall pandas -y
pip install "pandas<2.0.0"
pip install onnxscript
pip uninstall transformers -y
pip install transformers==4.39.0
2. 准备测试集
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip
3. 修改模型文件configs/models/hf_internlm/的 hf_internlm2_5_1_8b_chat.py，粘贴以下代码：
from opencompass.models import HuggingFacewithChatTemplate
models = [
dict(
type=HuggingFacewithChatTemplate,
abbr='internlm2_5-1_8b-chat-hf',
path='/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/',
max_out_len=2048,
batch_size=8,
run_cfg=dict(num_gpus=1),
)
]
# python run.py --datasets ceval_gen --models hf_internlm2_5_1_8b_chat --debug
4. 执行评测
python run.py --datasets ceval_gen --models hf_internlm2_5_1_8b_chat --debug
6. 查看结果
