本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库，可以训练出一个符合自己需求的大模型。
你想拥有一个大模型机器人，学习了你所有的资料。每当你想查科研资料找到答案的时候，自己问这个机器人就好了。省去了自己很多查找资料的时间
这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。
今天就来分享下这个搭建过程。用到的工具组合是Docker+Dify+DeepSeek
Dify是基于LLM的大模型知识库问答系统，里面集成DeepSeek以及私有知识库，而Dify采用Docker的方式来安装
一
首先在docker网站 www.docker.com/ 下载docker
添加图片注释，不超过 140 字（可选）
有Mac，linux,windows可供选择。我的电脑是MAC系统的，因此下载MAC 版本的。
安装完成后，重启系统生效。打开登录就可以使用
添加图片注释，不超过 140 字（可选）
二 安装dify
点击Dnowload ZIP。下载到本地并解压。注意: 在本地的保存路径不要有中文字符。否则后续运行会失败
添加图片注释，不超过 140 字（可选）
windows进入powershell(不是CMD)。进入dify解压包下面的docker目录，分别执行下面两条命令
cp .env.example .env docker -compose up -d
添加图片注释，不超过 140 字（可选）
docker会拉取dify进行下载
添加图片注释，不超过 140 字（可选）
大概时间20分钟左右。下载完成（有可能出现部分pull失败，更换 docker 镜像或者多尝试几次（我是这么解决的））
添加图片注释，不超过 140 字（可选）
重启docker 桌面软件，在containers中能看到docker的这个image，表示Dify下载成功。Status显示Running表示正在运行。
添加图片注释，不超过 140 字（可选）
三 本地部署deepseek
这里需要部署的是DeepSeek以及bge-large。
登录官网：ollama.com/
点击Download进行下载。安装包有400多M。下载速度不是很稳定。下载速度慢的可以加我v，发你网盘链接。
添加图片注释，不超过 140 字（可选）
安装版本支持mac, Linux, Windows
添加图片注释，不超过 140 字（可选）
下载ollama
下载完后，点击安装。 注意：ollama默认安装到C盘。所以安装前C盘预留10个G的空间出来
安装完成后，打开命令终端
然后运行命令ollama，出现如下的界面表示ollama安装成功
添加图片注释，不超过 140 字（可选）
在ollama官网上选择Models，找到deepseek点击进去
添加图片注释，不超过 140 字（可选）
可以看到deepseek-r1有1.5b,7b,8b,14b,32b,70b,671b的选择
添加图片注释，不超过 140 字（可选）
如何=何评估自己电脑能跑哪个模型呢，每个模型需要的显存大小都在右边有显示
添加图片注释，不超过 140 字（可选）
只要你的显存大小大于模型需要的即可。比如我这个台式机只有3.7G。因此只能跑1.5b。而且我的显卡是集显，还不是GPU的。
添加图片注释，不超过 140 字（可选）
点击按钮进行命令复制
添加图片注释，不超过 140 字（可选）
在命令终端中运行命令，大概等个20分钟的样子，就安装完成了。此时你就可以本地和deepseek进行对话了
添加图片注释，不超过 140 字（可选）
这时在命令行中输入：请写一个2025年的新春祝福。
DeepSeek就开始进行输出了
添加图片注释，不超过 140 字（可选）
同时在ollama中搜索bge-large。点击进入后复制命令
添加图片注释，不超过 140 字（可选）
在命令窗口中执行复制的命令进行下载。
添加图片注释，不超过 140 字（可选）
四 dify配置大模型
在浏览器中输入：http://localhost/signin 来到dify的登录界面进行登录
添加图片注释，不超过 140 字（可选）
进入设置
添加图片注释，不超过 140 字（可选）
在模型供应商中找到ollama，点击添加大模型
添加图片注释，不超过 140 字（可选）
基础URL填 host.docker.internal:11434 其他的都不变，点击保存。（这里可能会因为docker分配的内存太小报错，至少因分配 16g 内存）
添加图片注释，不超过 140 字（可选）
添加完后能看到对应的模型
添加图片注释，不超过 140 字（可选）
再继续添加Text Embedding。这是为知识库添加bge-large模型
添加图片注释，不超过 140 字（可选）
添加完成后，能看到2个模型。这样就算配置完了
添加图片注释，不超过 140 字（可选）
五 搭建知识库
来到Dify的主界面，点击知识库。创建新的知识库
上传文档，点击下一步
添加图片注释，不超过 140 字（可选）
知识库 的配置可以采用默认的，拉到最下面点击保存并处理
添加图片注释，不超过 140 字（可选）
会进行知识库的创建，显示嵌入已完成。代表知识库导入成功
添加图片注释，不超过 140 字（可选）
点击前往文档，可以看到文档已经被分段处理。
添加图片注释，不超过 140 字（可选）
六 创建应用
在工作室中创建空白应用
添加图片注释，不超过 140 字（可选）
创建聊天助手
添加图片注释，不超过 140 字（可选）
在聊天界面中点击添加上下文，也就是你创建的知识库。
添加图片注释，不超过 140 字（可选）
将刚才创建的知识库导入进去。
添加图片注释，不超过 140 字（可选）
此时在右边的对话框中就可以输入，大模型会根据知识库进行查询。在最后的界面中能看到引用自刚才创建的知识库文件
添加图片注释，不超过 140 字（可选）
知识库创建好后，你可以本地使用，如果想外部访问这个知识库，可以添加外部知识库API。配置好API Endpoint后就可以。
添加图片注释，不超过 140 字（可选）
当然，想要让外部访问到，你自己的机器网络也需要在公网上。
