记录一次docker部署DB-GPT的过程

1,658 阅读1分钟

1、背景

在github上偶然看到这个AI与数据库碰撞下产生的项目,看到简介后非常想体验一下,但是按照官方文档操作还是踩了不少坑,这里以docker操作部署为例,总结一下我这次部署的过程。

2、前置操作

必须要先下载git-lfs

  • CentOS安装: yum install git-lfs
  • Ubuntu安装: apt-get install git-lfs
  • MacOS安装: brew install git-lfs

宿主机上建立模型文件夹,我这以/data/models为例

官方文档给出了本地大部署模型的操作以及不同模型GPU显存的要求

image.png

image.png

但是由于穷的原因,没有条件使用GPU部署,于是我决定使用第三方API代理服务,所以这一步我不操作。 除了本地大模型之外,还需要部署向量模型,也就是text2vec-large-chinese

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

如果下载完成后不到1000k,请先下载git-lfs image.png

正常下载完成后会有4.9G左右

image.png

到这里前置准备工作就结束了,接下来运行docker命令 docker run -d -p 5000:5000
-e LOCAL_DB_TYPE=sqlite
-e LOCAL_DB_PATH=data/default_sqlite.db
-e LLM_MODEL=qwen2-72b-instruct
-e PROXY_API_KEY=your appkey
-e PROXY_SERVER_URL=your-openai-proxy.com
-e LANGUAGE=zh
-v /data/models:/app/models
--name dbgpt
eosphorosai/dbgpt:latest 需要说明官方文档dbgpt-allinone是自己构建的镜像,其中包含MySQL,如不使用MySQL可以使用官方的镜像eosphorosai/dbgpt