hh，上来就干一个小项目，真是激动人心的时刻🤣🤣，下面我将用自己的理解来表述构建项目过程。
1. 项目名称
“易速鲜花”内部员工知识库问答系统。
2. 项目需求（或者说应用场景）
当你有一堆文档且文档内容比较杂乱，难以直接通过阅读文档得到信息，这时就可以通过构建一个这个系统，通过提问的形式，大模型基于本地文档快速给出你相应答案。
3. 实现流程
- 得到数据，可以是结构化的如MySQL数据库形式的，也可以是非结构化的如Qdrant向量数据库形式的，甚至可以是直接的代码
- 处理数据，将文档处理成LangChain所能接收的数据形式，同时进行分块转换成Embedding存入向量数据库中
- 利用prompt检索向量数据库，找到对应相似的向量一并喂给llm，并返回最终的大模型输出
刻画相似度：欧式距离和余弦相似度。欧式距离强调的是两个向量之间的距离大小，距离越小证明两个向量越相似（例如，用户期望买价格为100rmb，重量为20kg的物品，此时恰巧有物品A价格90rmb，重量15kg，物品B价格99rmb，重量18kg，那么显然物品B与用户需求更加相似）。余弦相似度更多的反映的是两个向量之间的语义关系，夹角越小相似度越高。
import os
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.document_loaders import Docx2txtLoader
from langchain_community.document_loaders import TextLoader
from langchain.embeddings.base import Embeddings
from langchain.pydantic_v1 import BaseModel
from volcenginesdkarkruntime import Ark
from typing import Dict, List, Any
# 1. 数据准备和载入
base_dir = './OneFlower'
documents = []
for file in os.listdir(base_dir):
file_path = os.path.join(base_dir, file)
if file.endswith('.pdf'):
loader = PyPDFLoader(file_path)
documents.extend(loader.load())
elif file.endswith('.docx'):
loader = Docx2txtLoader(file_path)
documents.extend(loader.load())
elif file.endswith('.txt'):
loader = TextLoader(file_path)
documents.extend(loader.load())
# 2. 数据分割
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=10)
chunked_documents = text_splitter.split_documents(documents)
# 3.Store 将分割嵌入并存储在矢量数据库Qdrant中
from langchain_community.vectorstores import Qdrant
class DoubaoEmbeddings(BaseModel, Embeddings):
client: Ark = None
api_key: str = ""
model: str
def __init__(self, **data: Any):
super().__init__(**data)
if self.api_key == "":
self.api_key = os.environ["OPENAI_API_KEY"]
self.client = Ark(
base_url=os.environ["OPENAI_BASE_URL"],
api_key=self.api_key
)
def embed_query(self, text: str) -> List[float]:
"""
生成输入文本的 embedding.
Args:
texts (str): 要生成 embedding 的文本.
Return:
embeddings (List[float]): 输入文本的 embedding，一个浮点数值列表.
"""
embeddings = self.client.embeddings.create(model=self.model, input=text)
return embeddings.data[0].embedding
def embed_documents(self, texts: List[str]) -> List[List[float]]:
return [self.embed_query(text) for text in texts]
class Config:
arbitrary_types_allowed = True
vectorstore = Qdrant.from_documents(
documents=chunked_documents, # 以分块的文档
embedding=DoubaoEmbeddings(
model=os.environ["EMBEDDING_MODELEND"],
), # 用OpenAI的Embedding Model做嵌入
location=":memory:", # in-memory 存储
collection_name="my_documents",
) # 指定collection_name
# 4. Retrieval 准备模型和Retrieval链
import logging # 导入Logging工具
from langchain_openai import ChatOpenAI # ChatOpenAI模型
from langchain.retrievers.multi_query import (
MultiQueryRetriever,
) # MultiQueryRetriever工具
from langchain.chains import RetrievalQA # RetrievalQA链
# 设置Logging
logging.basicConfig()
logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)
# 实例化一个大模型工具 - OpenAI的GPT-3.5
llm = ChatOpenAI(model=os.environ["LLM_MODELEND"], temperature=0)
# 实例化一个MultiQueryRetriever
retriever_from_llm = MultiQueryRetriever.from_llm(
retriever=vectorstore.as_retriever(), llm=llm
)
# 实例化一个RetrievalQA链
qa_chain = RetrievalQA.from_chain_type(llm, retriever=retriever_from_llm)
# 5. Output 问答系统的UI实现
from flask import Flask, request, render_template
app = Flask(__name__) # Flask APP
@app.route("/", methods=["GET", "POST"])
def home():
if request.method == "POST":
# 接收用户输入作为问题
question = request.form.get("question")
# RetrievalQA链 - 读入问题，生成答案
result = qa_chain({"query": question})
# 把大模型的回答结果返回网页进行渲染
return render_template("index.html", result=result)
return render_template("index.html")
if __name__ == "__main__":
app.run(host="0.0.0.0", debug=True, port=5000)
这里的嵌入过程是采用doubao的api，得到的嵌入效果并不是太好，后面提问的时候感觉只有涉及到“易速鲜花”才能出现一些回答，否则就人工智障了🤣🤣（我不知道我不知道....），需要解释的地方就是后面构建检索QA链，MultiQueryRetriever这个是根据用户提出的问题先让大模型去生成一些类似问题，然后再根据这些生成的问题去向量数据库中找相似向量，也就是说MultiQueryRetriever返回的是上下文（就如他的名字一样，他就是个检索器），而qa_chain才是真正最后将上下文送给llm，得到回答的模块。
