青训营X豆包MarsCode技术训练营——QA系统构建

摘要

基于Langchain快速搭建一个QA问答系统

项目介绍

项目名称：“易速鲜花”内部员工知识库问答系统

项目介绍：利用LangChain框架搭建一个问答系统，帮助员工快速了解“易速鲜花”的业务流程和规范。

特点：理解员工问题，匹配内部资料，由LLM进行处理，给出精准解答

开发框架

框架分为三部分：

数据源：结构化数据、非结构化数据

大模型：作为逻辑引擎生成回复

用例：解析模型输出，构建用户界面

核心实现机制：

五个步骤：

1.loading:加载数据

2.Splitting：数据切片

3.Storage：嵌入至向量数据库

4.Retrieval：根据问题检索，给到大模型进行处理

5.Output：语言模型生成答案，展示给用户

代码示例：

数据加载

从langchain.document_loaders模块中导入PyPDFLoader、Docx2txtLoader、TextLoader以加载PDF、Doc、txt这三种类型的文档，并保存在documents列表中。

from langchain.document_loaders import PyPDFLoader
from langchain.document_loaders import Docx2txtLoader 
from langchain.document_loaders import TextLoader

base_dir = '.\OneFlower'
# 文档的存放目录 
documents = [] 
for file in os.listdir(base_dir):     
    # 构建完整的文件路径     
    file_path = os.path.join(base_dir, file)     
        if file.endswith('.pdf'):         
            loader = PyPDFLoader(file_path)         
            documents.extend(loader.load())     
        elif file.endswith('.docx'):         
            loader = Docx2txtLoader(file_path)         
            documents.extend(loader.load())     
        elif file.endswith('.txt'):         
            loader = TextLoader(file_path)         
            documents.extend(loader.load())

数据分割

从langchain.text_splitter 导入 RecursiveCharacterTextSplitter，该类根据字符数将大文本分割为小文本，chunk_size指定每个文本块大小为200，chunk_overlap指定每个文本块之间重叠部分为10个字符。调用该实例的text_split_documents方法进行分割，分割结果保存再chunked_documents列表中

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10)
chunked_documents = text_splitter.split_documents(documents)

数据嵌入

Qdrant是一个开源向量数据库

DoubaoEmbeddings(BaseModel, Embeddings)是一个自定义的类，继承了BaseModel, Embeddings

client是一个Ark客户端实例，与外部服务器交互，生成本文嵌入

model是要指定的嵌入模型的名称

enbed_query方法接收一个字符串text,并生成对应的嵌入向量

embed_documents方法则是批量处理

ectorstore则是由Qdrant.from_documents方法创建的向量数据库，将传入的分块文档chunk_documents与嵌入模型进行关联，存储至向量数据库中。 location=":memory:"代表使用内存数据存取，若要持久化数据,则替换为文件路径。collection_name="my_documents"则指定了存储文档的集合名称。

from langchain_community.vectorstores import Qdrant


class DoubaoEmbeddings(BaseModel, Embeddings):
    client: Ark = None
    api_key: str = ""
    model: str

    def __init__(self, **data: Any):
        super().__init__(**data)
        if self.api_key == "":
            self.api_key = os.environ["OPENAI_API_KEY"]
        self.client = Ark(
            base_url=os.environ["OPENAI_BASE_URL"],
            api_key=self.api_key
        )

    def embed_query(self, text: str) -> List[float]:
        """
        生成输入文本的 embedding.
        Args:
            texts (str): 要生成 embedding 的文本.
        Return:
            embeddings (List[float]): 输入文本的 embedding，一个浮点数值列表.
        """
        embeddings = self.client.embeddings.create(model=self.model, input=text)
        return embeddings.data[0].embedding

    def embed_documents(self, texts: List[str]) -> List[List[float]]:
        return [self.embed_query(text) for text in texts]

    class Config:
        arbitrary_types_allowed = True


vectorstore = Qdrant.from_documents(
    documents=chunked_documents,  # 以分块的文档
    embedding=DoubaoEmbeddings(
        model=os.environ["EMBEDDING_MODELEND"],
    ),  # 用OpenAI的Embedding Model做嵌入
    location=":memory:",  # in-memory 存储
    collection_name="my_documents",
)  # 指定collection_name

Retrieval

MultiQueryRetriever是一个多查询工具，用于生成多个不同但意思相近的查询结构，以获得更加全面的信息

RetrievalQA是一个问答链，结合了检索器和语言模型，用于生成答案

logging主要是记录并输出检索过程的重要信息，帮助监视状态

实例化MultiQueryRetriever需要LLM，以帮助生成多种不同查询

实例化RetrievalQA链需要LLM和MultiQueryRetriever

import logging  # 导入Logging工具
from langchain_openai import ChatOpenAI  # ChatOpenAI模型
from langchain.retrievers.multi_query import (
    MultiQueryRetriever,
)  # MultiQueryRetriever工具
from langchain.chains import RetrievalQA  # RetrievalQA链

# 设置Logging
logging.basicConfig()
logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)

# 实例化一个大模型工具 
llm = ChatOpenAI(model=os.environ["LLM_MODELEND"], temperature=0)

# 实例化一个MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(
    retriever=vectorstore.as_retriever(), llm=llm
)

# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(llm, retriever=retriever_from_llm)

构建用户输出用例

Flask是一个轻量级的Python Web框架

app = Flask(name) 用于创建一个 Flask 应用实例，name 表示当前模块的名称，用来告诉 Flask 哪个模块是应用的根模块。

@app.route("/", methods=["GET", "POST"])：这是一个 Flask 路由装饰器，定义了一个 URL 路由，当用户访问根 URL (/) 时会触发 home() 函数。这里支持 GET 和 POST 方法：

GET：当用户直接访问网页时，显示表单页面。

POST：当用户提交表单数据时，处理用户输入并显示结果。

from flask import Flask, request, render_template

app = Flask(__name__)  # Flask APP


@app.route("/", methods=["GET", "POST"])
def home():
    if request.method == "POST":
        # 接收用户输入作为问题
        question = request.form.get("question")

        # RetrievalQA链 - 读入问题，生成答案
        result = qa_chain({"query": question})

        # 把大模型的回答结果返回网页进行渲染
        return render_template("index.html", result=result)

    return render_template("index.html")


if __name__ == "__main__":
    app.run(host="0.0.0.0", debug=True, port=5000)

用户页面

static是固定的不能变，因此目录中需要有一个static文件夹

<body>
    <div class="container">
        <div class="header">
            <h1>易速鲜花内部问答系统</h1>
            <img src="{{ url_for('static', filename='wallpaper.jpg') }}" alt="flower logo" width="200"> 
        </div>
        <form method="POST">
            <label for="question">Enter your question:</label><br>
            <input type="text" id="question" name="question"><br>
            <input type="submit" value="Submit">
        </form>
        {% if result is defined %}
            <h2>Answer</h2>
            <p>{{ result.result }}</p>
        {% endif %}
    </div>
</body>

目录结构

data_material放内部文件 templates下放index.html文件，名称不能变 static放页面图片资源，名称不能变