第一把手：下载模型量化版文件
下载mixtral7b的gguf量化版模型文件，如何下载详见上一篇文章《大模型笔记1-HuggingFace下载模型》
第二把手：安装 pytorch
参考以下表格进行安装
第三把手：text-generation-webui
下载安装text-generation-webui,cd 到text-generation-webui目录
参考以下表格安装依赖包
本人安装是CPU only has AVX2的requirements_cpu_only.txt，
pip install -r requirements_cpu_only.txt -i https://mirrors.aliyun.com/pypi/simple/
或者
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_cpu_only.txt
其中AVX2是指电脑cpu执行指令集，可以使用工具CPU-Z查看。
CPU-Z界面
使用requirements.txt文件安装依赖包时，可能会由于github.com无法连接而失败，解决办法
1.先备份对应的requirements.txt;
2.在requirements.txt中删除需要连github.com安装的包（类似红色框那堆）；
3.先安装无需连github.com的包
pip install -r requirements_cpu_only.txt -i https://mirrors.aliyun.com/pypi/simple/
或者
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_cpu_only.txt
4.再通过指定源的方式或者直接根据官方库安装命令安装原来需要连github.com才能安装的包。
第四把手：运行text-generation-webui
经过第三把手折腾后，就可以试试运行
1.先把下载的模型文件复制到text-generation-webui 目录下的models
2.在text-generation-webui 目录下执行运行命令
python server.py --trust-remote-code --listen
如果运行后报错，出现以下截图红色框的错误信息，把右边蓝色框住的文件server.py的163行的share改成True（截图是修改的效果），然后重新执行运行命令
当出现以下界面就说明已经运行成功，
使用127.0.0.1:7868
第五把手：加载模型
经过上面的折腾，跑起来后，切换到model页面
模型加载成功后就大功告成了，可以切换到chat页面跟大模型进行对话，模型运行的速度取决于硬件条件，纯cpu一般都比较满，问个问题得等比较久，但起码可以慢慢研究了。
