今天,我将为大家分享如何部署 DeepSeek + 本地知识库的经验。这是一个既实用又高效的组合,无论是个人学习还是工作场景,都能带来不小的便利。
数据流图概览
首先,我们来绘制一个简单的数据流图,帮助大家理解整个流程。
基于 Cherry Studio 搭建
Cherry Studio(强烈推荐👍)是一个非常厉害的工具,可以帮助我们基于本地 DeepSeek 构建个人知识库。核心思路是利用本地服务,安装嵌入模型(Embedding Model),将文本数据转化为向量表示(Vector Representation)。
用 ollama 拉取嵌入模型
ollama pull bge-m3
pulling manifest
pulling daec91ffb5dd... 100% ▕████████████████████████████████████████████████████████▏ 1.2 GB
pulling a406579cd136... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling 0c4c9c2a325f... 100% ▕████████████████████████████████████████████████████████▏ 337 B
verifying sha256 digest
writing manifest
success
下载 Cherry Studio
根据你的运行环境,下载对应的 cherry-studio 文件 github.com/CherryHQ/ch…
配置本地知识库
-
配置本地 Ollama 服务。
-
进入知识库设置:
-
- 选择“添加知识库”。
- 选择嵌入模型(Embed Model)。
- 填写知识库名称。
- 添加知识文档。
Cherry Studio 的亮点是支持直接添加文档和目录,操作非常便捷。添加完成后,界面会显示绿色勾号,表示向量化的过程已经完成。
搜索验证功能
点击搜索功能,输入要查询的内容后即可检索知识库内容。我试着搜索了一些内容,虽然结果并非完全匹配,但已经能很好地关联到相关文章,效果令人满意。
Deepseek + 本地知识库聊天
- 点击左上角的聊天图标。
- 选择 Assistant(助手)。
- 点击 Default Assistant(默认助手,也可自行添加其他助手)。
- 选择大模型(Large Model),可以是本地模型(如 Local 1),也可以是已开通的在线服务。
- 设置知识库(未设置则不会引用)。
- 输入问题内容,点击提问。
结果显示,DeepSeek 会整理出答案,并明确告知引用了哪些材料,体验非常流畅。
本地模型受限于电脑的性能,所以模型都比较小,也会不够智能,如果要使用更加智能的deepseek,可以选择在线API,deepseek,阿里云,火山引擎等都提供API服务。
基于 AnythingLLM 搭建
另一种选择是使用 AnythingLLM。访问网站 anythingllm.com/desktop 然后下载 AnythingLLM Desktop。
配置流程
-
点击左下角设置。
-
配置 LLM(大语言模型)选项:
-
- 选择 Ollama 作为模型提供者。
- 选择已安装的 DeepSeek 模型。
- 保存设置。
-
配置向量数据库
-
- 向量数据库(Vector Database)无需调整,使用默认配置即可。
- 配置嵌入模型,可以使用内置模型或 Ollama 安装的模型。
- 配置完成后,点击左下角返回。
设置工作空间
-
新建工作空间。
-
使用默认会话。
-
上传知识库文档。
此外,AnythingLLM 还支持配置远程文档,比如 GitHub,非常灵活。
文档会在工作空间内共享,注意权限管理。
API 功能
AnythingLLM 提供 API 访问功能,可作为公共知识库使用,适合有开发需求的场景。
使用体验对比
相比之下,AnythingLLM 的整体体验不如 Cherry Studio 直观。它需要一定的编程思维,适合技术人员使用。对于非技术用户,Cherry Studio 是更好的选择。不过,作为一名程序员,我更推荐AnythingLLM,并且可以结合 dify 等工具进一步挖掘其潜力。
总结:个人知识库 + 本地大模型的优势
- 隐私性强:无需担心数据泄露,且支持离线使用。
- 高效检索:在工作和学习中,能快速查找并自动关联整理好的文档。
- 开发助力:在代码开发中,可参考你的开发习惯,快速生成代码。