DeepSeek+本地知识库:惊艳而强大

1,214 阅读3分钟

今天,我将为大家分享如何部署 DeepSeek + 本地知识库的经验。这是一个既实用又高效的组合,无论是个人学习还是工作场景,都能带来不小的便利。

图片

数据流图概览

首先,我们来绘制一个简单的数据流图,帮助大家理解整个流程。

图片

基于 Cherry Studio 搭建

Cherry Studio(强烈推荐👍)是一个非常厉害的工具,可以帮助我们基于本地 DeepSeek 构建个人知识库。核心思路是利用本地服务,安装嵌入模型(Embedding Model),将文本数据转化为向量表示(Vector Representation)。

用 ollama 拉取嵌入模型

ollama pull bge-m3
pulling manifest
pulling daec91ffb5dd... 100% ▕████████████████████████████████████████████████████████▏ 1.2 GB
pulling a406579cd136... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling 0c4c9c2a325f... 100% ▕████████████████████████████████████████████████████████▏  337 B
verifying sha256 digest
writing manifest
success

下载 Cherry Studio

根据你的运行环境,下载对应的 cherry-studio 文件 github.com/CherryHQ/ch…

图片

配置本地知识库

  1. 配置本地 Ollama 服务。

    图片

  2. 进入知识库设置:

    图片

    1. 选择“添加知识库”。
    2. 选择嵌入模型(Embed Model)。
    3. 填写知识库名称。
    4. 添加知识文档。

Cherry Studio 的亮点是支持直接添加文档和目录,操作非常便捷。添加完成后,界面会显示绿色勾号,表示向量化的过程已经完成。

图片

搜索验证功能

点击搜索功能,输入要查询的内容后即可检索知识库内容。我试着搜索了一些内容,虽然结果并非完全匹配,但已经能很好地关联到相关文章,效果令人满意。

图片

Deepseek + 本地知识库聊天

图片

  1. 点击左上角的聊天图标。
  2. 选择 Assistant(助手)。
  3. 点击 Default Assistant(默认助手,也可自行添加其他助手)。
  4. 选择大模型(Large Model),可以是本地模型(如 Local 1),也可以是已开通的在线服务。
  5. 设置知识库(未设置则不会引用)。
  6. 输入问题内容,点击提问。

结果显示,DeepSeek 会整理出答案,并明确告知引用了哪些材料,体验非常流畅。

图片

本地模型受限于电脑的性能,所以模型都比较小,也会不够智能,如果要使用更加智能的deepseek,可以选择在线API,deepseek,阿里云,火山引擎等都提供API服务。

基于 AnythingLLM 搭建

图片

另一种选择是使用 AnythingLLM。访问网站 anythingllm.com/desktop 然后下载 AnythingLLM Desktop。

配置流程

图片

  1. 点击左下角设置。

  2. 配置 LLM(大语言模型)选项:

    图片

    1. 选择 Ollama 作为模型提供者。
    2. 选择已安装的 DeepSeek 模型。
    3. 保存设置。
  3. 配置向量数据库

    图片

    1. 向量数据库(Vector Database)无需调整,使用默认配置即可。
    2. 配置嵌入模型,可以使用内置模型或 Ollama 安装的模型。
    3. 配置完成后,点击左下角返回。

设置工作空间

图片

  1. 新建工作空间。

  2. 使用默认会话。

  3. 上传知识库文档。

    图片

此外,AnythingLLM 还支持配置远程文档,比如 GitHub,非常灵活。

图片

文档会在工作空间内共享,注意权限管理。

API 功能

图片

AnythingLLM 提供 API 访问功能,可作为公共知识库使用,适合有开发需求的场景。

使用体验对比

相比之下,AnythingLLM 的整体体验不如 Cherry Studio 直观。它需要一定的编程思维,适合技术人员使用。对于非技术用户,Cherry Studio 是更好的选择。不过,作为一名程序员,我更推荐AnythingLLM,并且可以结合 dify 等工具进一步挖掘其潜力。

总结:个人知识库 + 本地大模型的优势

  1. 隐私性强:无需担心数据泄露,且支持离线使用。
  2. 高效检索:在工作和学习中,能快速查找并自动关联整理好的文档。
  3. 开发助力:在代码开发中,可参考你的开发习惯,快速生成代码。