作者在搭建私有知识库部署ragflow过程中踩了很多坑,在此分享一下本地安装部署经验。话不多说,本文全程干货。
重要提醒,过程中至少需要重启电脑2次,大家记得提前保存教程哦。
DeepSeek模型本地化部署
这个部分在网上很多正确的教程,此处按照步骤快速带过。
下载安装ollama
找到ollama官网,点击下载,把安装包下载到本地。
双击安装包,点击安装即可。安装完成后win+R键打开左下角运行窗口,输入cmd后回车。在命令行输入
ollama -v
返回版本信息即为运行成功
命令行拉取deepseek模型
在ollama官网搜索deepseek-r1模型,选择一个合适的模型(这里以1.5b为例)。复制命令,然后打开刚刚的命令行直接粘贴进去然后回车,显示“success”就OK了。
RAGflow部署
启动电脑的支持
- 打开控制面板-->程序和功能-->启用和关闭Windows功能-->Hyper-V打勾,适用于Linux的Windows子系统打勾,虚拟机平台打勾。确定后等待下载和更新,完成后点立即重启电脑。
- 打开任务管理器-->性能-->CPU,查看虚拟化是否已启用。
docker下载与安装
- 下载适用x64的WSL,点击下一步和安装即可。 命令行运行
wsl --update
打开powershell,以管理员身份运行
# 将 WSL 默认版本设置为 WSL 2
wsl --set-default-version 2
2. 到docker官网下载4.29.0版本安装包(4.30.0及以上不支持更改镜像)。
3. 下载完成双击installer,直接开始安装,等待安装完成后重启计算机。
4. 重启完成后,双击桌面docker desktop启动,看到containers首页即为安装成功
5. 修改镜像源:点击右上角设置图标,在Docker Engine里面修改添加镜像源(不添加镜像源的话Docker默认从外网下载,网速非常慢,容易下载失败)。
这里,作者使用的镜像源如下:
"registry-mirrors": [
"https://docker.tbedu.top",
"https://docker.1panel.live",
"https://docker.mirrors.ustc.edu.cn",
"https://registry.docker-cn.com"
]
RAGflow下载与知识库构建
部署RAGflow的软硬件条件
- CPU >= 4 核
- RAM >= 16 GB
- Disk >= 50 GB
- Docker >= 24.0.0 & Docker Compose >= v2.26.1
- 到github下载ragflow源码(没有git可以直接下载zip压缩包)。下载到本地后解压到全英文路径下。
- 使用docker拉取ragflow远程镜像源。此处需要先修改配置为下载完整版。在拉取的ragflow仓库路径下的docker/.env 文件内的RAGFLOW_IMAGE变量,通过设置RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0来下载 RAGFlow镜像的 v0.16.0 完整发行版。
在ragflow-main文件夹(你压缩包里的文件夹的名字)下打开cmd窗口运行以下命令:
docker compose -f docker/docker-compose.yml up -d
3. 打开浏览器,进入到本地的ragflow,注册账号进行登录
4. 点击右上角头像,在模型提供商中添加我们本地部署的deepseek模型。注意模型的名称要和ollama官网名称完全一致在系统设置中配置Chat模型(deepseek)和Embedding模型(RAGFlow自带的)
- 现在就可以按需创建知识库,上传解析文件了。之后创建聊天助手(注意prompt和tokens的配置)就能开始对话了
知识库的详细操作和聊天助手的参数微调后续会发布