Mindie在华为910B推理大模型

拉取Mindie镜像

镜像仓库网 (ovaijisuan.com)

挂载镜像

docker run -itd -w /root/workcode -u root --network=host --ipc=host \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --name=Mindie-Qwen1.5-14B \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/sbin/:/usr/local/sbin/ \ -v /var/log/npu/conf/slog/slog.conf:/var/log/npu/conf/slog/slog.conf \ -v /var/log/npu/slog/:/var/log/npu/slog \ -v /var/log/npu/profiling/:/var/log/npu/profiling \ -v /var/log/npu/dump/:/var/log/npu/dump \ -v /var/log/npu/:/usr/slog \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /data/workcode/Mindie/:/root/workcode \ -v /var/log/npu/:/usr/slog \ ddbfca /bin/bash

进入容器

启动容器后，输入npu-smi info 会报错 说没有这个文件，所以要设置环境变量

export LD_LIBRARY_PATH=/usr/local/Ascend/driver/lib64/common/libc_sec.so:$LD_LIBRARY_PATH

下载qwen1.5-14b-chat模型

#模型下载 
from modelscope import snapshot_download 
model_dir = snapshot_download('qwen/Qwen-14B-Chat',cache_dir='xxx')

安装cann包以及加载环境变量

cd /opt/package
# 安装CANN包
source install_and_enable_cann.sh
# 若退出后重新进入容器，则需要重新加载 CANN 环境变量，执行以下三行命令
source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/atb/set_env.sh
source /home/chatglm2_6b/chatglm2/set_env.sh

推理大模型

按照下述链接的推理部分来，记得https参数要改为false，其他就是改参数了

人工智能 - 大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化） - 个人文章 - SegmentFault 思否