AutoDL 常用环境默认路径修改

551 阅读3分钟

环境配置

1. 修改Conda下载安装路径

为了支撑足够多的模型环境,不能够将Conda依赖包安装路径放在系统盘,所以修改Conda安装路径,步骤如下。

  1. 运行vim /root/.condarc命令,写入:
envs_dirs:
  - /root/autodl-tmp/conda/envs
pkgs_dirs:
  - /root/autodl-tmp/conda/pkgs

envs和pkgs分别对应环境和python包安装的的路径,可自行选择。

  1. 使用conda info命令查看是否修改成功

2. 修改Huggingface默认下载路径

通过Hugging Face的Transformers库自动下载模型,会先缓存在默认路径:
Linux~/.cache/huggingface/hub
WindowsC:\Users\username.cache\huggingface\hub

考虑到预训练模型一般比较大,也不能将预训练模型下载到系统盘,因此需要修改Huggingface模型下载路径,步骤如下。

通过vim编译器永久设置,

vim ~/.bashrc

在末尾行添加,

export HF_HOME="/root/autodl-tmp/huggingface"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep HF_HOME

如果返回设置的路径,则成功,如图。

注意事项:

一般来说,如果存储空间足够的话,可以按照不同的模型代码要求进行下载和安装。存储空间不够的话,参考如下原则。

一些常用来修改的大规模的预训练模型(比如Stable Diffusion),建议优先存储到本地路径,以便调整预训练模型结构;

一些常用的工具类预训练模型(比如open_clip)可以直接存储到Huggingface的缓存路径,以便直接调用无需修改代码中的调用路径。

3. 加入Huggingface镜像

直接使用Huggingface官网下载预训练模型容易失败,可以使用镜像网站下载。

通过vim编译器永久设置,

vim ~/.bashrc

在末尾行添加,

export HF_ENDPOINT=https://hf-mirror.com

然后保存退出。输入如下指令让它立即生效,

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep HF_ENDPOINT

输出如图即为成功。

4. 修改PyTorch的默认下载路径

PyTorch预训练模型在线下载后的地址默认是

~/.cache/torch/hub/checkpoints

类似于Huggingface的预训练模型,我们也把这部分模型默认路径修改到数据盘

通过vim编译器永久设置,

vim ~/.bashrc

在末尾行添加,

export TORCH_HOME="/root/autodl-tmp/torch"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep TORCH_HOME

如果返回设置的路径,则成功,如图。

5. 修改ModelScope默认下载路径

通过vim编译器永久设置,

vim ~/.bashrc

在末尾行添加,

export MODELSCOPE_CACHE="/root/autodl-tmp/modelscope"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep MODELSCOPE_CACHE

如果返回设置的路径,则成功,如图。