加入 NPU 用户组

在 Ascend NPU 设备上安装 LLaMA Factory 需要指定额外的依赖项，并安装 Ascend CANN 工具包和内核。以下是详细的安装步骤和一些注意事项。

安装 LLaMA Factory

首先，使用以下命令安装 LLaMA Factory 的必要依赖项：

pip install -e '.[torch-npu,metrics]'

安装 Ascend CANN 工具包和内核

安装 CANN 工具包

根据你的 CANN 版本和设备，替换 URL，并运行以下命令来安装 CANN 工具包：

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run
bash Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run --install

安装 CANN 内核

同样，根据你的设备，使用以下命令来安装 CANN 内核：

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run
bash Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run --install

设置环境变量

安装完成后，使用以下命令设置环境变量：

source /usr/local/Ascend/ascend-toolkit/set_env.sh

系统要求

需求	最低要求	推荐要求
CANN	8.0.RC1	8.0.RC1
torch	2.1.0	2.1.0
torch-npu	2.1.0	2.1.0.post3
deepspeed	0.13.2	0.13.2

Docker 镜像

你可以从以下页面下载适合的 Docker 镜像：

• 32GB: 下载页面
• 64GB: 下载页面

使用 ASCEND_RT_VISIBLE_DEVICES

在指定使用设备时，请使用 ASCEND_RT_VISIBLE_DEVICES 代替 CUDA_VISIBLE_DEVICES。

推理设置

如果无法在 NPU 设备上进行推理，尝试在配置中设置 do_sample: false。

总结

通过上述步骤，你应该能够在 Ascend NPU 设备上成功安装和使用 LLaMA Factory。如果在安装过程中遇到任何问题，请参考官方的安装教程或相关文档获取更多帮助。加入 NPU 用户组，共同探索和利用高性能计算资源，推动AI研究和应用的发展。