用LangChain构建知识问答系统|豆包MarsCode AI刷题

搞笑症患者
558 阅读5分钟

前言

LangChain实战课的第二节，构建了一个简易的基于“易速鲜花”本地知识库的智能问答系统，感兴趣的小伙伴也可以看看之前的文章~

项目框架

  • 名称：“易速鲜花”内部员工知识库问答系统

  • 目的：开发一套基于各种内部知识手册的 “Doc-QA” 系统

  • 内容：利用LangChain框架，处理从员工手册中产生的各种问题

开发框架

（1）数据源

包括：PDF非结构化的数据、SQL结构化的数据、以及Python、Java之类的代码。 image.png

  • 在这个示例中，我们聚焦于对非结构化数据的处理。

（2）大模型应用

以大模型为逻辑引擎，生成我们所需要的回答

  • Embedding模型进行词嵌入
  • LLM模型进行答案生成

（3）用例

构建出QA/聊天机器人等系统

核心机制

image.png （1）Loading：加载各种文件

（2）Splitting：将文件切割为文档块

（3）Storage：将文档块嵌入存储到向量数据库

词嵌入（Word Embedding）将一个文字或词语转换为一系列数字，即向量。这些数字捕获了这个词的含义和它在文本中的上下文。因此，语义上相似或相关的词在这个数字空间中会比较接近。

向量数据库，也称矢量数据库或向量搜索引擎，专门存储和搜索向量形式的数据。能高效存储和处理高维向量数据，更好地支持涉及非结构化数据处理的人工智能应用。

（4）Retrieval：从向量数据库中检索余弦相似度高的文档块

欧氏距离：各个对应维度差的平方和的平方根，度量的是绝对距离更能反映数量等大小差异。

余弦相似度：度量的是方向的相似性，更能反映文本等语义差异

一个词向量可能会因为文本长度的不同，而在大小上有很大的差距，但方向更能反映其语义

（5）Output：将问题和检索到的嵌入片作为语言模型（LLM）的提示，UI交互生成答案

模型配置

  • 项目需要用到Embedding模型来生成嵌入，笔者使用的是豆包AI的Embedding模型 ）

在火山方舟官网

①在控制台的在线推理中创建推理接入点，选择embedding模型部署； image.png

②编辑/home/cloudide/.cloudiderc文件配置model_endpoint；

③在命令行中执行source ~/.cloudiderc即可

实现过程

AI练中学理论上将所有需要的包都配置好了，如果代码不缺少包，就不需要自行配置。如果缺少某些包，用pip install 安装相关即可。

（1）Loading

①加载各种在OneFlower文件夹的文件

# 1.Load 导入Document Loaders
import os
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.document_loaders import Docx2txtLoader
from langchain_community.document_loaders import TextLoader

②用LangChain中的document_loaders来加载各种格式的文件，并存储在documents列表中

# 加载Documents
base_dir = "./OneFlower"  # 文档的存放目录
documents = []
for file in os.listdir(base_dir):
    # 构建完整的文件路径
    file_path = os.path.join(base_dir, file)
    if file.endswith(".pdf"):
        loader = PyPDFLoader(file_path)
        documents.extend(loader.load())
    elif file.endswith(".docx"):
        loader = Docx2txtLoader(file_path)
        documents.extend(loader.load())
    elif file.endswith(".txt"):
        loader = TextLoader(file_path)
        documents.extend(loader.load())

（2）Splitting

用 LangChain中的RecursiveCharacterTextSplitter 来分割文本

# 2.Split 将Documents切分成块以便后续进行嵌入和向量存储
from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10)
chunked_documents = text_splitter.split_documents(documents)

（3）Storage

①自定义DoubaoEmbeddings来生成嵌入向量

from langchain.embeddings.base import Embeddings
from typing import List, Any
from langchain.pydantic_v1 import BaseModel
from volcenginesdkarkruntime import Ark

class DoubaoEmbeddings(BaseModel, Embeddings):
    client: Ark = None
    api_key: str = ""
    model: str

    def __init__(self, **data: Any):
        super().__init__(**data)
        if self.api_key == "":
            self.api_key = os.environ["OPENAI_API_KEY"]
        self.client = Ark(
            base_url=os.environ["OPENAI_BASE_URL"],
            api_key=self.api_key
        )

    def embed_query(self, text: str) -> List[float]:
        embeddings = self.client.embeddings.create(model=self.model, input=text)
        return embeddings.data[0].embedding

    def embed_documents(self, texts: List[str]) -> List[List[float]]:
        return [self.embed_query(text) for text in texts]

    class Config:
        arbitrary_types_allowed = True

②用Qdrant向量数据库来存储向量

from langchain_community.vectorstores import Qdrant
vectorstore = Qdrant.from_documents(
    documents=chunked_documents,  # 以分块的文档
    embedding=DoubaoEmbeddings(
        model=os.environ["EMBEDDING_MODELEND"],
    ),  # 用豆包的Embedding Model做嵌入
    location=":memory:",  # in-memory 存储
    collection_name="my_documents",
)

（4）Retrieval

retriever（vectorstore.as_retriever()）负责根据问题检索相关的文档，找到具体的“嵌入片”

这些“嵌入片”对应的“文档块”就会作为知识信息，和问题一起传递进入大模型LLM，回答问题

# 4. Retrieval 准备模型和Retrieval链
import logging  # 导入Logging工具
from langchain_openai import ChatOpenAI  # ChatOpenAI模型
from langchain.retrievers.multi_query import MultiQueryRetriever # MultiQueryRetriever工具
from langchain.chains import RetrievalQA  # RetrievalQA链

# 设置Logging
logging.basicConfig()
logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)

# 实例化一个大模型工具
llm = ChatOpenAI(model=os.environ["LLM_MODELEND"], temperature=0)

# 实例化一个MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(
    retriever=vectorstore.as_retriever(), llm=llm
)

# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(llm, retriever=retriever_from_llm)

（5）Output

①创建一个 Flask 应用来接收用户的问题

②使用 RetrievalQA 链生成相应的答案

③通过 index.html 对答案进行渲染和呈现

# 5. Output 问答系统的UI实现
from flask import Flask, request, render_template

app = Flask(__name__)  # Flask APP

@app.route("/", methods=["GET", "POST"])
def home():
    if request.method == "POST":
        # 接收用户输入作为问题
        question = request.form.get("question")

        # RetrievalQA链 - 读入问题，生成答案
        result = qa_chain({"query": question})

        # 把大模型的回答结果返回网页进行渲染
        return render_template("index.html", result=result)

    return render_template("index.html")

if __name__ == "__main__":
    app.run(host="0.0.0.0", debug=True, port=5000)

运行结果

①运行程序 image.png ②打开网页

  • 在AI练中学打开Web预览即可，确认端口号与程序中一致

image.png ③交互提问

  • 但模型好像蠢蠢的 image.png

  • 换了种问法 image.png

总结

①了解了基于文档的QA系统的实现流程。

  • 先把本地知识切片后做Embedding，存储到向量数据库中
  • 然后把用户的输入和向量数据库中检索到的本地知识传递给大模型LLM
  • 最终生成所想要的回答并可视化

②自定义DoubaoEmbeddings来生成嵌入

③了解了词嵌入Embedding的基本原理和作用，将一个文字或词语转换为向量，捕获了词的含义和上下文。

④了解了向量数据库能高效存储和处理高维向量数据。

⑤了解了欧氏距离（数量等大小差异）和余弦相似度（文本语义差异）的区别和使用场景

avatar
文章
阅读
粉丝