01 Langchain构建本地知识库的智能知识问答系统|豆包MarsCode AI刷题

user2407411142627
125 阅读6分钟
  • 目的：开发一个Doc-QA系统
  • 内容：利用LangChain框架处理从分散冗长的员工手册中产生的各种问题。这个问答系统能够理解员工的问题。

开发框架

  1. 数据源（Data Sources）：包括PDF等非结构化的数据、SQL等结构化的数据（Structured Data），以及Python、Java之类的代码

    （1）本例使用了txt、pdf、docx文件

  2. 大模型应用（Application）：以大模型为逻辑引擎，生成我们所需要的回答。

    • 本例使用了embedding模型生成词嵌入
    • LLM模型生成答案

  3. 用例（Use-Cases）：根据生成的回答可以构建出QA/聊天机器人等系统。

核心实现机制

image.png

  1. **Loading：**文档加载器把Documents 加载为以LangChain能够读取的形式。

  2. Splitting文本分割器把Documents 切分为指定大小的分割，我把它们称为“文档块”或者“文档片”。

  3. Storage将上一步中分割好的“文档块”以“嵌入”（Embedding）的形式存储到向量数据库（Vector DB）中，形成一个个的“嵌入片”。

    词嵌入为了使文本数据转换为计算机可理解的形式，词嵌入为每个词分配的数字列表。这些数捕获了这个词的含义和它在文本中的上下文。因此，语义上相似或相关的词在这个数字空间中会比较接近。 可以通过一些方法计算上述两个词向量的相似度，越相似的词嵌入他们对应的文本在现实意义中的含义也相似。

    向量数据库，也称为矢量数据库或者向量搜索引擎，是一种专门用于存储和搜索向量形式的数据的数据库。自然语言处理和图像识别这类涉及大量非结构化数据的领域，将数据转化为高维度的向量是常见的处理方式。

  4. Retrieval：应用程序从存储中检索分割后的文档（例如通过比较余弦相似度，找到与输入问题类似的嵌入片）。

    信息提取的基本方式就是把问题也转换为向量，然后去和向量数据库中的各个向量进行比较，提取最接近的信息。向量之间的比较通常基于向量的距离或者相似度。在高维空间中，常用的向量距离或相似度计算方法有欧氏距离和余弦相似度。

    欧氏距离：这是最直接的距离度量方式，就像在二维平面上测量两点之间的直线距离那样。在高维空间中，两个向量的欧氏距离就是各个对应维度差的平方和的平方根。欧氏距离度量的是绝对距离，它能很好地反映出向量的绝对差异。当我们关心数据的绝对大小，例如在物品推荐系统中，用户的购买量可能反映他们的偏好强度，此时可以考虑使用欧氏距离。同样，在数据集中各个向量的大小相似，且数据分布大致均匀时，使用欧氏距离也比较适合。

    余弦相似度：余弦相似度通过计算两个向量之间的夹角余弦值来度量它们之间的相似度。更关心向量的方向而不是它的大小。例如在文本处理中，一个词的向量可能会因为文本长度的不同，而在大小上有很大的差距，但方向更能反映其语义。处理文本数据或者其他高维稀疏数据的时候，余弦相似度特别有用。比如在信息检索和文本分类等任务中，文本数据往往被表示为高维的词向量，词向量的方向更能反映其语义相似性，此时可以使用余弦相似度。

    除此之外还有皮尔逊相关系数、曼哈顿距离等计算相似度的方法，要根据具体问题分析适用场景。

    本例使用的是余弦相似度作为度量标准。

  5. Output：把问题和相似的嵌入片传递给语言模型（LLM），使用包含问题和检索到的分割的提示生成答案。

具体开发过程

模型配置

  • 用Embedding模型为文档做嵌入。
  • 用GPT模型来生成问答系统中的回答。
  • 安装工具包

数据的准备与载入

用LangChain中的document_loaders来加载各种格式的本地知识库文本文件。

# 1.Load 导入Document Loaders
from langchain.document_loaders import PyPDFLoader
from langchain.document_loaders import Docx2txtLoader
from langchain.document_loaders import TextLoader

# 加载Documents
base_dir = '.\OneFlower' # 文档的存放目录
documents = []
for file in os.listdir(base_dir): 
    # 构建完整的文件路径
    file_path = os.path.join(base_dir, file)
    if file.endswith('.pdf'):
        loader = PyPDFLoader(file_path)
        documents.extend(loader.load())
    elif file.endswith('.docx'): 
        loader = Docx2txtLoader(file_path)
        documents.extend(loader.load())
    elif file.endswith('.txt'):
        loader = TextLoader(file_path)
        documents.extend(loader.load())

文本的分割

LangChain中的RecursiveCharacterTextSplitter 来分割文本。

将加载的文本分割成更小的块，以便进行嵌入和向量存储。

# 2.Split 将Documents切分成块以便后续进行嵌入和向量存储
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10)
chunked_documents = text_splitter.split_documents(documents)

向量数据库存储

将这些分割后的文本转换成嵌入的形式，并将其存储在一个向量数据库中。

使用了 OpenAIEmbeddings 来生成嵌入，然后使用 Qdrant 这个向量数据库来存储嵌入

# 3.Store 将分割嵌入并存储在矢量数据库Qdrant中
from langchain.vectorstores import Qdrant
from langchain.embeddings import OpenAIEmbeddings
vectorstore = Qdrant.from_documents(
    documents=chunked_documents, # 以分块的文档
    embedding=OpenAIEmbeddings(), # 用OpenAI的Embedding Model做嵌入
    location=":memory:",  # in-memory 存储
    collection_name="my_documents",) # 指定collection_name

这一步将内部文档，都以“文档块嵌入片”的格式被存储在向量数据库里面了。

相关信息的获取

在这一步的代码部分创建一个聊天模型。然后需要创建一个 RetrievalQA 链，它是一个检索式问答模型，用于生成问题的答案。

在RetrievalQA 链中有下面两大重要组成部分。

  • LLM是大模型，负责回答问题。
  • retriever负责根据问题检索相关的文档，找到具体的“嵌入片”。这些“嵌入片”对应的“文档块”就会作为知识信息，和问题一起传递进入大模型。
# 4. Retrieval 准备模型和Retrieval链
import logging # 导入Logging工具
from langchain.chat_models import ChatOpenAI # ChatOpenAI模型
from langchain.retrievers.multi_query import MultiQueryRetriever # MultiQueryRetriever工具
from langchain.chains import RetrievalQA # RetrievalQA链

# 设置Logging
logging.basicConfig()
logging.getLogger('langchain.retrievers.multi_query').setLevel(logging.INFO)

# 实例化一个大模型工具 - OpenAI的GPT-3.5
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# 实例化一个MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(retriever=vectorstore.as_retriever(), llm=llm)

# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(llm,retriever=retriever_from_llm)

生成回答并展示

主要UI交互部分，这里会创建一个 Flask 应用（需要安装Flask包）来接收用户的问题，并生成相应的答案，最后通过 index.html 对答案进行渲染和呈现。

在这个步骤中，我们使用了之前创建的 RetrievalQA 链来获取相关的文档和生成答案。然后，将这些信息返回给用户，显示在网页上。

# 5. Output 问答系统的UI实现
from flask import Flask, request, render_template
app = Flask(__name__) # Flask APP

@app.route('/', methods=['GET', 'POST'])
def home():
    if request.method == 'POST':
        # 接收用户输入作为问题
        question = request.form.get('question')        
        # RetrievalQA链 - 读入问题，生成答案
        result = qa_chain({"query": question})
        # 把大模型的回答结果返回网页进行渲染
        return render_template('index.html', result=result)  
    return render_template('index.html')

if __name__ == "__main__":
    app.run(host='0.0.0.0',debug=True,port=5000)

运行结果

可在web预览中获得交互结果，后期可以对网页进行优化

image.png

avatar
文章
阅读
粉丝