DeepSeek 私有化部署 + 知识库

903 阅读4分钟

DeepSeek R1 大模型本地部署应用 + 知识库,这里用到的工具组合是 Docker + Ollama + Dify + DeepSeek

本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库,可以训练出一个符合自己需求的大模型。

假如你是个医生、律师或者博士,手上积累了大量的案例或科研资料。每次想从这些资料里找答案的时候,是不是特别麻烦?但要是有个大模型机器人,把你这些资料全都“学”会了,以后你想查啥,直接问它就行,不用自己一页一页翻那些资料,能省不少时间呢。

再换个场景,要是你在一家企业上班,公司有好多内部资料和业务数据,这些都是不能对外说的机密。可大家又想用AI帮忙,查查资料、找找答案,让工作效率更高,还能给出好的解决方案。这时候,在公司内部搭建一个专属于自己的AI机器人,就特别方便,想用就用,也不用担心数据泄露等各种问题。

这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。

Dify是基于LLM的大模型知识库问答系统,里面集成DeepSeek以及私有知识库,而Dify采用Docker的方式来安装

一、下载安装 Docker

首先在docker网站 www.docker.com/ 下载docker

image.png

有Mac,linux,windows可供选择。我的电脑是windows系统的,因此下载Windows的。

安装完成后,重启系统生效。打开登录就可以使用

二、安装 Dify

登录网址 github.com/langgenius/…

点击Dnowload ZIP。下载到本地并解压。注意: 在本地的保存路径不要有中文字符。否则后续运行可能会失败

image.png

windows进入powershell(不是CMD)。进入dify解压包下面的docker目录,分别执行下面两条命令

cp .env.example .env

docker compose up -d

image.png

重启docker 桌面软件,在containers中能看到docker的这个image,表示Dify下载成功。Status显示Running表示正在运行。

image.png

三、Ollama 部署

这里需要部署的是 DeepSeek 以及 bge-large。DeepSeek的部署方法,参考上一篇文章 本地部署 DeepSeek R1 大模型

在 ollama中搜索bge-large。点击进入后复制命令

image.png

image.png

四、Dify配置本地模型

在浏览器中输入:http://localhost/signin

来到dify的登录界面进行登录

image.png

image.png

在模型供应商中找到ollama,点击添加大模型

image.png

基础URL填 host.docker.internal:11434

关于为什么要填这个地址,这里给出解释:

为什么需要填这个地址?

Ollama 默认运行在宿主机的 11434 端口:当你安装 Ollama 后,它会在本地(宿主机)启动一个服务,默认监听 127.0.0.1:11434。

Docker 容器无法直接访问 localhost 或 127.0.0.1:在 Docker 容器中,localhost 或 127.0.0.1 指向的是容器本身的网络,而不是宿主机。因此,容器无法直接通过 localhost:11434 访问宿主机的 Ollama 服务。

host.docker.internal 是 Docker 提供的特殊 DNS 名称:它指向宿主机的网络接口,允许容器访问宿主机上运行的服务。

 

到这里选择模型,其他的都不变,点击保存即可。

image.png

添加完后能看到对应的模型

image.png

(这里是知识库配置,如果只需要DeepSeek本地模型应用,可以忽略这步)添加 Text Embedding。这是为知识库添加 bge-large 模型

image.png

添加完成后,能看到2个模型。这样就算配置完了

image.png

五、搭建知识库

如果只需要 DeepSeek 本地模型应用,没有独立数据资料库搭建需求的,可以忽略该步骤

来到 Dify 的主界面,点击知识库,创建新的知识库

image.png

上传文档,点击下一步

image.png

知识库的配置可以采用默认的,拉到最下面点击保存并处理

image.png

进行知识库的创建,待显示嵌入已完成。代表知识库导入成功

image.png

点击前往文档,可以看到文档已经被分段处理。

image.png

六、创建应用

在 "工作室" 中 "创建空白应用"

image.png

创建聊天助手

image.png

在聊天界面中点击 添加 "上下文",也就是你创建的知识库。(可选,没有可以忽略)

image.png

选择将刚才创建的知识库导入进去。

image.png

image.png

此时在右边的对话框中就可以输入问题,大模型会根据知识库进行查询。在最后的界面中能看到引用自刚才创建的知识库文件。

image.png

最后点击发布和更新即可。

image.png

发布之后,点击 "探索",即可在左边看到刚刚发布成功的应用,点击该应用,点击"开始对话"进入对话模式。

image.png

image.png

输入问题,等待回答即可

image.png