大模型是当下的满大街的当红炸鸡，本人也是想学习研究，经过近一个月的了解，发现满大街都是套壳应用，另外好的模型都是收费的，为了能继续研究了解，必须的要有自己本地的模型服务，第一步当然是获取模型文件。进而发现是HuggingFace，然后就慢，需要科学上网等问题。
今日找到一篇文章可以实现自由飞起的下载，为了在自己到处换电脑后，还能想起，所以记录一下。
前提条件：
安装python3
第一步：下载HuggingFace-Download-Accelerator
可以去gitee搜 HuggingFace-Download-Accelerator
找一个更新时间比较近的，直接git clone到x目录
第二步：在HuggingFace上找到需要下载的模型对应的namespace/reponame
使用HuggingFace-Download-Accelerator下载需要提供模型对应的namespace/reponame,如果有梯子的可以直接上HuggingFace找，没有的可以百度“Mixtral 8x7B本地部署”，虽然这些文章里都没告诉你怎么下模型文件，但会告诉你模型的地址，例如下面这个：
第三步：下载吧
打开cmd，cd 到第一步的x目录下的**HuggingFace-Download-Accelerator，**然后执行：
#下载模型
python hf_download.py --model HenryJJ/Mixtral-8x7B-Instruct-v0.1-GGUF --save_dir F:/ai/models/Mixtral-8x7B-Instruct-v0.1
#下载数据集
python hf_download.py --dataset zh-plus/tiny-imagenet --save_dir ./hf_hub
执行后，会先安装一些依赖的python库，再过一会就能看到类似下面的画面：
上图第二个红框就是在模型文件，文件可以看出是mixtral-8x7b的Q2量化模型文件。
文章到此结束，附带两个分享
方案出处：一行命令实现 HuggingFace 国内高速下载 - 知乎 (zhihu.com)
AI模型量化介绍：AI 模型量化格式介绍 (qq.com)
