问答系统 ｜ 豆包MarsCode AI 刷题

一、基于文档的问答系统实现流程

1. 项目目标

构建一个基于企业内部知识库的问答系统，帮助员工快速查询相关信息。系统通过以下步骤实现：

• 将文档转化为机器可理解的结构化数据。
• 借助向量数据库存储和检索文档内容。
• 使用大语言模型生成基于检索内容的精准回答。

2. 实现流程

整个流程分为以下五步：

1. 文档加载（Loading） ：

   • 使用LangChain的document_loaders模块加载不同格式的文档（如PDF、Word、TXT）。
   • 将文档内容存储为一个列表，供后续处理。

2. 文本分割（Splitting） ：

• 使用RecursiveCharacterTextSplitter将文档分割成更小的文本块（如200字符）。
• 这些文本块便于后续嵌入和存储。
• 

3. 嵌入与存储（Storage） ：

• 使用嵌入模型（如OpenAI Embeddings）将文本块转化为向量表示。
• 将向量存储到向量数据库（如Qdrant）中，方便后续检索。
• 

4. 信息检索（Retrieval） ：

• 用户输入的问题通过嵌入模型转化为向量表示。
• 使用向量数据库检索与问题最相关的文档块。
• 检索基于余弦相似度，找到语义上最接近的文档。
• 

5. 生成回答（Output） ：

• 使用大语言模型（如GPT-3.5）结合检索到的文档块生成答案。
• 构建一个Flask应用作为用户交互界面。

二、关键技术概念

1. 嵌入（Embedding）

• 嵌入是将文本转化为向量形式的过程。
• 向量捕捉了文本的语义信息，语义相似的文本在向量空间中距离更近。
• 常用模型：OpenAI Embeddings、Sentence Transformers。

2. 向量数据库（Vector Database）

• 专门存储和检索高维向量的数据库。
• 通过计算向量之间的距离（如余弦相似度）实现高效检索。
• 常用工具：Qdrant、Pinecone、Chroma。

3. 检索方式

• 欧氏距离：适用于关注数据大小差异的场景。
• 余弦相似度：适用于语义比较，常用于文本处理。

4. LangChain框架

• 提供了文档加载、分割、嵌入、检索等工具模块。
• 支持多种大语言模型（如OpenAI、HuggingFace）和向量数据库。

三、扩展任务

1. 使用Chroma替代Qdrant

Chroma是另一种开源向量数据库，支持LangChain集成。代码实现如下：

2. 优化检索与回答

• 提高检索精度：调整文本分割大小、嵌入模型参数。
• 提升回答质量：结合提示工程（Prompt Engineering），优化模型输入格式。

四、总结

• 本项目通过LangChain实现了一个基于文档的问答系统，流程清晰，模块化程度高。
• LangChain框架降低了开发复杂度，支持多种模型和数据库的灵活组合。
• 未来可以扩展更多功能，如多语言支持、实时文档更新等。