前情提要：华为910b部署训练推理大模型，本人之前并没有接触过，所以，写此文档进行记录。
（注意：版本适配很重要！！不然就像我一样走了好多坑~~~）
首先，看一张图片
编辑
要训练推理大模型，MindFormers库是关键，而这个库依赖MindSpore，所以安装顺序如下：
1.第三方依赖（python,昇腾AI处理器配套软件包,gcc)
2.MindSpore
3.MindFormers
安装过程：
根据Mindsporewww.mindspore.cn/install/#gu…官方文档，在安装MindSpore之前，需要安装第三方依赖：
（说明：官方文档好好看，按照步骤来一般都可以安装成功！）
以下是我的踩坑记录：
1.安装python
本人在910b服务器上安装这些环境，为了方便操作，安装的conda环境，命令如下：
#注意：不要装高版本的python，会不兼容，此处我装的python3.9
conda create --name myenv python=3.9
2.安装昇腾AI处理器配套软件包
在安装之前，一定要看好自己的系统版本以及是否已经安装了固件与驱动，注意安装的版本与CANN版本的匹配
本人服务器信息：
#查看操作系统版本
cat /etc/os-release
操作系统版本：CentOS Linux 7 (AltArch)
#查看固件和驱动信息
npu-smi info -l #查看设备ID: NPU ID
npu-smi info -t board -i NPU ID #NPU驱动和固件版本
NPU驱动版本：23.0.3 NPU固件版本：7.1.0.5.220
安装的CANN版本(社区版：8.0.RC1.beta1版本)
下载包链接：www.hiascend.com/developer/d…
我的显卡是910b的，所以我选的这两个（注意：一定要选择toolkit和kernels）[不太理解为什么要分开.....]
安装教程参考：
快速安装CANN-快速上手-CANN社区版8.0.RC1.alpha002开发文档-昇腾社区
一定要运行命令：
source /usr/local/Ascend/ascend-toolkit/set_env.sh
每次重新进入虚拟环境，也最好输入一下这个命令
至此，CANN安装成功~
3.安装GCC-7.3.0
（踩了好多坑）
我的gcc版本是4.8.5，需要更新。
不知道为什么运行Mindspore官网的命令一直报错,说找不到这个文件
yum install devtoolset-7
我刚开始以为是源的问题，更新源参考blog.csdn.net/smart9527_z…
结果不是，仍然报错，找不到文件，后来发现只能源码安装，参考链接：
鲲鹏(ARM64)升级GCC-7.3.0【CentOS-7.6 GCC升级(网络环境+脱机环境)】-云社区-华为云
GCC-7.3.0安装成功~
4.安装mindspore
对照官方文档pip install xxx 或者conda 都可以，然后验证：安装成功~
5.安装MindFormers 一定要拉取r1.0分支
（我之前拉取别的分支，一直报错~~）
推理大模型qwen1.5-72b
- 1.下载通过sdk下载：downmodels.py--路径要更改一下
www.modelscope.cn/models/qwen…
（通过git 下载模型文件容易不完整)
- 2.torch权重转mindspore权重
运行这个转换文件的报错分析：
①.numpy报错，请降至2.0.0以下
②.找不到xxx.io这种包，请把那句话提上来，参考链接www.cnblogs.com/jefferyeven…
-
3.模型权重切分：ckpt单机--》分布式
-
bash run_singlenode.sh "python qwen1_5/run_qwen1_5.py \ --config qwen1_5/run_qwen1_5_72b_infer.yaml \ --run_mode predict \ --use_parallel True \ --auto_trans_ckpt True \ --predict_data 帮助我制定一份去上海的旅游攻略" ../rank_table_8.json [0,8] 8
可以查看npu是否占用，来看程序是否跑起来了
