1、背景
在github上偶然看到这个AI与数据库碰撞下产生的项目,看到简介后非常想体验一下,但是按照官方文档操作还是踩了不少坑,这里以docker操作部署为例,总结一下我这次部署的过程。
2、前置操作
必须要先下载git-lfs
- CentOS安装: yum install git-lfs
- Ubuntu安装: apt-get install git-lfs
- MacOS安装: brew install git-lfs
宿主机上建立模型文件夹,我这以/data/models为例
官方文档给出了本地大部署模型的操作以及不同模型GPU显存的要求
但是由于穷的原因,没有条件使用GPU部署,于是我决定使用第三方API代理服务,所以这一步我不操作。 除了本地大模型之外,还需要部署向量模型,也就是text2vec-large-chinese
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
如果下载完成后不到1000k,请先下载git-lfs
正常下载完成后会有4.9G左右
到这里前置准备工作就结束了,接下来运行docker命令
docker run -d -p 5000:5000
-e LOCAL_DB_TYPE=sqlite
-e LOCAL_DB_PATH=data/default_sqlite.db
-e LLM_MODEL=qwen2-72b-instruct
-e PROXY_API_KEY=your appkey
-e PROXY_SERVER_URL=your-openai-proxy.com
-e LANGUAGE=zh
-v /data/models:/app/models
--name dbgpt
eosphorosai/dbgpt:latest
需要说明官方文档dbgpt-allinone是自己构建的镜像,其中包含MySQL,如不使用MySQL可以使用官方的镜像eosphorosai/dbgpt