AI学习-Dify、docker安装,xinference部署,安装transformer、vllm

58 阅读3分钟

起因是在招聘软件上频频看到dify、coze等词汇,然后调查了一下感觉不是很难上手,所以打算学一下。

1 安装docker

Dify 不是一个简单的单文件程序,它的运行需要依赖多个组件:

  • 后端服务(Python/Go 开发)
  • 前端静态页面
  • PostgreSQL 数据库(存储数据)
  • Redis 缓存(提升运行效率) 如果不用 Docker,需要在 Windows 上逐个安装这些组件,还要配置它们之间的连接、解决版本兼容问题,对新手来说非常容易出错。 而用 Docker 的话,Dify 官方已经做好了 “容器组合配置”(docker-compose.yml),只需要安装 Docker 环境,下载 Dify 的配置文件,执行一条启动命令,Docker 就会自动:
  1. 下载所有需要的镜像(Dify 后端、前端、PostgreSQL、Redis)
  2. 自动创建并启动对应的容器
  3. 自动配置容器之间的连接和依赖关系
  4. 最终让 Dify 成功运行,你只需要在浏览器中访问即可。

docker下载地址 Windows | Docker Docs 安装时记住自己的版本:

image.png 因为我是0基础,下载docker后发现提示我linux版本过低,于是我又把问题丢给AI,更新WSL,按照AI提示完成后,开始汉化

汉化找对应版本:asxez/DockerDesktop-CN: Docker汉化 Docker中文版 Docker汉化包 DockerDesktop汉化 Docker Windows Docker MAC 这个页面有教程,先复制本身的文件改个名字作为备份,然后把下载的文件换名字替换就可以了

2 安装dify

安装地址 langgenius/dify: Production-ready platform for agentic workflow development. 安装可以git克隆,也可以直接下载压缩包,因为我电脑上有一个gitbash,之前已经连接我的github账号了,所以我想试试克隆,就让AI出安装教程然后一步一步跟着做的。

image.png 下载完成后复制网站进入:http://localhost/install 设置管理员账户,这个需要记住 之后启动dify,要先打开docker,然后打开gitbash输入 cd /d/dify/docker 再然后输入 docker compose up -d 然后网址输入:http://localhost 就进入dify页面了

3 部署xinference

文档:inference.readthedocs.io/zh-cn/lates…

教程(6 条消息) Xinference部署教程 - 知乎

初学者不建议下载vllm,安装一个transformer先用着吧,vllm要linux (因为是在conda中安装部署,所以在装的过程中顺便装了gpu版本的pytorch 在装的过程中,出现报错,把电脑里的visualstudiocommunity2022 installer安装,然后点选c++桌面开发,再次对vllm进行安装就可以了

but,后来在webGUI上没找到vllm,问了AI,说是得在WSL2上安装vllm本体) 然后晕了 打开的过程中有一个问题,就是科技上网,容易打不开,要设置一下, 在cmd窗口进入xinfre虚拟环境后, 设置环境变量 set NO_PROXY=localhost,127.0.0.1 然后再 xinference-local --host 127.0.0.1 --port 9997 就打开了,接下来是模型,我选择的qwen,参数问的AI 选完之后点小火箭等待 会下载好一会。 以后每次打开xinfer就 1.打开cmd。输入

conda activate xinfer 进入虚拟环境后 xinference-local 然后输入上面的xinference-local --host 127.0.0.1 --port 9997就进去了