如何让阿里通义千问Qwen-7b运行在FastChat
提前准备：
FastChat项目地址: git clone github.com/lm-sys/Fast…
Qwen-7B模型：huggingface.co/Qwen/Qwen-7…
本人环境介绍：
显卡：3090 24G
内存：60G
CPU：AMD-R5 5600
系统：Ubuntu22.10
Python依赖环境：
Miniconda
下载地址：mirrors.tuna.tsinghua.edu.cn/anaconda/ar…
CUDA版本如图：
废话不说了，开整
-
git clone github.com/lm-sys/Fast…
-
cd FastChat
-
创建conda环境： conda create -n fastchat python=3.10
-
激活conda环境：conda activate fastchat
-
安装依赖：pip install -e ".[model_worker,webui]"
-
安装stream依赖：pip install einops transformers_stream_generator
-
确认没有问题，如图：
环境安装完成
开始启动：
注意：这三步都需要新开控制台，并且切换conda环境到fastchat
开启控制器管理分布式工作线程： python3 -m fastchat.serve.controller
启动模型工人：python3 -m fastchat.serve.model_worker --model-path /home/xxx/.cache/huggingface/hub/models--QWen--QWen-7B-Chat
开启gradio-web-ui：python3 -m fastchat.serve.gradio_web_server
