DeepSeek R1 大模型本地部署应用 + 知识库,这里用到的工具组合是 Docker + Ollama + Dify + DeepSeek
本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库,可以训练出一个符合自己需求的大模型。
假如你是个医生、律师或者博士,手上积累了大量的案例或科研资料。每次想从这些资料里找答案的时候,是不是特别麻烦?但要是有个大模型机器人,把你这些资料全都“学”会了,以后你想查啥,直接问它就行,不用自己一页一页翻那些资料,能省不少时间呢。
再换个场景,要是你在一家企业上班,公司有好多内部资料和业务数据,这些都是不能对外说的机密。可大家又想用AI帮忙,查查资料、找找答案,让工作效率更高,还能给出好的解决方案。这时候,在公司内部搭建一个专属于自己的AI机器人,就特别方便,想用就用,也不用担心数据泄露等各种问题。
这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。
Dify是基于LLM的大模型知识库问答系统,里面集成DeepSeek以及私有知识库,而Dify采用Docker的方式来安装
一、下载安装 Docker
首先在docker网站 www.docker.com/ 下载docker
有Mac,linux,windows可供选择。我的电脑是windows系统的,因此下载Windows的。
安装完成后,重启系统生效。打开登录就可以使用
二、安装 Dify
点击Dnowload ZIP。下载到本地并解压。注意: 在本地的保存路径不要有中文字符。否则后续运行可能会失败
windows进入powershell(不是CMD)。进入dify解压包下面的docker目录,分别执行下面两条命令
cp .env.example .env
docker compose up -d
重启docker 桌面软件,在containers中能看到docker的这个image,表示Dify下载成功。Status显示Running表示正在运行。
三、Ollama 部署
这里需要部署的是 DeepSeek 以及 bge-large。DeepSeek的部署方法,参考上一篇文章 本地部署 DeepSeek R1 大模型
在 ollama中搜索bge-large。点击进入后复制命令
四、Dify配置本地模型
在浏览器中输入:http://localhost/signin
来到dify的登录界面进行登录
在模型供应商中找到ollama,点击添加大模型
基础URL填 host.docker.internal:11434
关于为什么要填这个地址,这里给出解释:
为什么需要填这个地址?
Ollama 默认运行在宿主机的 11434 端口:当你安装 Ollama 后,它会在本地(宿主机)启动一个服务,默认监听 127.0.0.1:11434。
Docker 容器无法直接访问 localhost 或 127.0.0.1:在 Docker 容器中,localhost 或 127.0.0.1 指向的是容器本身的网络,而不是宿主机。因此,容器无法直接通过 localhost:11434 访问宿主机的 Ollama 服务。
host.docker.internal 是 Docker 提供的特殊 DNS 名称:它指向宿主机的网络接口,允许容器访问宿主机上运行的服务。
到这里选择模型,其他的都不变,点击保存即可。
添加完后能看到对应的模型
(这里是知识库配置,如果只需要DeepSeek本地模型应用,可以忽略这步)添加 Text Embedding。这是为知识库添加 bge-large 模型
添加完成后,能看到2个模型。这样就算配置完了
五、搭建知识库
如果只需要 DeepSeek 本地模型应用,没有独立数据资料库搭建需求的,可以忽略该步骤
来到 Dify 的主界面,点击知识库,创建新的知识库
上传文档,点击下一步
知识库的配置可以采用默认的,拉到最下面点击保存并处理
进行知识库的创建,待显示嵌入已完成。代表知识库导入成功
点击前往文档,可以看到文档已经被分段处理。
六、创建应用
在 "工作室" 中 "创建空白应用"
创建聊天助手
在聊天界面中点击 添加 "上下文",也就是你创建的知识库。(可选,没有可以忽略)
选择将刚才创建的知识库导入进去。
此时在右边的对话框中就可以输入问题,大模型会根据知识库进行查询。在最后的界面中能看到引用自刚才创建的知识库文件。
最后点击发布和更新即可。
发布之后,点击 "探索",即可在左边看到刚刚发布成功的应用,点击该应用,点击"开始对话"进入对话模式。
输入问题,等待回答即可