windows系统 从 Hugging Face网站上使用 huggingface-cli 命令下载AI大模型到本地

269 阅读1分钟

前提必须要有 python环境

image.png

  1. 安装 huggingface_hub 命令
pip install -U huggingface_hub

2. 检查安装好没有

huggingface-cli --help

3. 设置代理 这样是设置临时代理 没有 代理 访问不了

set HTTP_PROXY=http://127.0.0.1:1080
set HTTPS_PROXY=http://127.0.0.1:1080

或者设置 中国镜像。这里我就不分享了 自行百度即可。

  1. 登录
huggingface-cli login

会让你输入 token 去huggingface 登录账号后 setting里 创建 token

  1. 查看是否登录好账号
huggingface-cli whoami

6. 下载模型命令 默认缓存目录为 ~/.cache/huggingface

huggingface-cli download 模型名称 --cache-dir 指定保存位置

举例:

huggingface-cli download Helsinki-NLP/opus-mt-en-zh --cache-dir D:\home\work\data

如果下载的时候中断了,那么就输入以下代码重新开始下载,这样会接着之前的下载

huggingface-cli download --repo-type model --resume-download [模型名称] --cache-dir [/本地路径] --local-dir-use-symlinks False

据说 重新执行下载命令 也可以 没试过 第7步。

因为 这个Hugging Face 上不仅有大模型 还有数据集 如果需要下载数据集 就把参数改成 dataset
不指定 默认就是 model
如果 需要下数据集 把 model 改成 dataset