如何使用 DeepSeek-R1、LangChain 和 Ollama 构建本地 RAG

非优秀程序员
598 阅读5分钟

在本指南中，您将学习如何使用DeepSeek-R1、LangChain、Ollama和Streamlit构建 检索增强生成 (RAG) 系统，该系统可在本地处理 PDF 。

本教程将LangChain的模块化功能与 DeepSeek-R1的隐私优先方法相结合，为处理技术、法律和学术文档提供了强大的解决方案。

image.png

图例说明：RAG 技术堆栈：DeepSeek-R1、Ollama、LangChain 和 Streamlit

该项目将用于 RAG 工作流的 AI 框架LangChain与用于DeepSeek-r1本地部署的Ollama和用于用户界面的Streamlit相结合。最终打造出一款可以 在本地提取 PDF并准确快速地**回答问题的AI 助手。

在这个演示中，我们将使用一个具有 7B 参数的DeepSeek-r1蒸馏模型，但如果您拥有更强的计算能力，我推荐其他DeepSeek-r1 蒸馏模型。

image.png

图例说明：RAG 实际用途：上传文档、提出问题并获得答复！

为什么选择私人 RAG 解决方案？

基于云的 AI 解决方案功能强大，但通常伴随着隐私风险和经常性成本等挑战。通过利用 LangChain 的模块化框架，您可以创建具有众多优势的本地 RAG 解决方案：

  • 数据隐私：所有操作都在本地进行，您的数据永远不会离开您的机器。
  • 成本效益：无需昂贵的 API 订阅，该解决方案是免费且开源的。
  • 可定制性：LangChain 的灵活性允许您微调文档检索和响应生成管道。
  • 强大的人工智能：与 DeepSeek-R1集成，这是一种针对解决问题和技术任务进行优化的推理模型。

工具和技术：LangChain、DeepSeek-R1、Ollama、ChromaDB 和 Streamlit

该项目由以下组件组成：

  • LangChain：RAG 管道的核心框架，支持文档加载器、向量存储和 LLM 的集成。它允许根据您的特定需求定制模块化和可扩展的 AI 工作流程。
  • DeepSeek-R1：专为编码、解决问题和技术任务而设计的推理 LLM。提供多种精简尺寸，可与 Ollama 一起进行本地部署。
  • Ollama：一种 CLI 工具，可简化部署和管理本地 LLM 和嵌入模型，例如 DeepSeek-R1 和 mxbai-embed-large。
  • ChromaDB：用于存储和检索基于相似性查询的文档嵌入的矢量数据库。
  • Streamlit：一个用于构建 Web 界面的 Python 库，使您的 RAG 应用程序更加用户友好且易于访问。

image.png

图例说明：RAG 架构图

构建 RAG 管道：分步指南

设置本地 ChatPDF 解决方案的方法如下：

1. 安装先决条件

确保已安装 Python 3.8+ 和Ollama。运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh 
ollama -v   # 验证安装

下载所需的AI模型：

ollama pull deepseek-r1:latest # 默认 7B 模型
ollama pull mxbai-embed-large   # 嵌入模型

image.png

图例说明：下载 Deepseek-r1:7B 和 mxbai-embed-large

2. 设置项目

克隆存储库并设置虚拟环境：

git clone https://github.com/paquino11/chatpdf-rag-deepseek-r1.git  
cd chatpdf-rag-deepseek-r1  
python3 -m venv venv  
source venv/bin/activate

安装依赖项：

pip install -r requirements.txt

3. 运行应用程序

启动 Streamlit 应用程序：

streamlit run app.py

通过浏览器访问该应用程序http://localhost:8501。上传您的 PDF、调整检索设置并开始提问。

image.png

图例说明：使用 DeepSeek-R1 实现本地 RAG 的 Streamlit UI

使用 DeepSeek-R1、Ollama、LangChain 和 ChromaDB 构建 RAG 管道

该项目使用 LangChain 来管理整个 RAG 工作流程：

  1. 使用 LangChain 进行 PDF 提取：
  • 使用 LangChain 的PyPDFLoader和RecursiveCharacterTextSplitter读取 PDF 并将其分割成块。
  • 使用OllamaEmbeddings将块嵌入到矢量表示中。

2.使用 ChromaDB 进行文档检索：

  • LangChain 与ChromaDB的集成实现了基于相似性的快速相关文档块检索。
  • 自定义结果数量（k）和相似度阈值（score_threshold），以便更好地控制。

3.使用DeepSeek-R1生成响应：

  • 检索到的文档块被传递给DeepSeek-R1，后者生成简洁、准确的答案。
  • LangChain 的ChatPromptTemplate确保 AI 以用户友好的格式做出响应。

自定义检索设置以获得最佳结果

LangChain 可以轻松调整检索设置以获得最佳性能：

k ：检索到的结果数
控制响应中使用多少个文​​档块。

  • 更高k：更多内容，响应更慢。
  • 较低k：背景信息较少，响应较快。

score_threshold ：相似度截止
过滤器根据相关性检索结果。

  • 更高的阈值：仅检索高度相关的块。
  • 门槛较低：范围较广，但精确度较低。

image.png

图例说明：调整 RAG 应用程序中的检索设置：检索结果的数量 (k) 和相似度分数阈值。

用例和测试您的 RAG 应用程序

以下是测试应用程序的一些示例：

测试 PDF：

  • 财务：分析财务报告并提取可操作的见解。
  • 医疗保健：总结研究论文或医疗指南。
  • 教育：从电子书和学术论文中提取摘要或要点。

示例问题：

  • “这个 Python 库的主要特性是什么？”
  • “本合同第 5 条讨论了什么？”
  • “总结这本电子书的第 2 章。”

结论

通过结合LangChain、DeepSeek-R1和ChromaDB，您可以创建一个优先考虑隐私、灵活性和成本效益的 RAG 系统。此本地 RAG 解决方案非常适合分析技术文档、法律文本等，而无需依赖基于云的工具。

参考：

ollama.com/
python.langchain.com/docs/tutori…
docs.streamlit.io/
api-docs.deepseek.com/

avatar
文章
阅读
粉丝