项目背景与目标
“易速鲜花”作为一个大型在线鲜花销售平台，拥有众多内部流程和规范，这些信息分散于内部网和HR部门目录各处，导致员工查询困难、信息更新不及时。为解决这一问题，我们决定开发一套基于内部知识手册的“Doc-QA”系统，利用LangChain框架处理员工手册中的问题，提供精准答案。
实现流程
-
数据准备与加载：
- 收集“易速鲜花”的内部资料，包括PDF、Word和TXT格式的文件。
- 使用LangChain中的document_loaders加载各种格式的文本文件，将这些文本存储在一个列表中。
-
向量数据库存储：
- 将加载的文本分割成较小的文档块，使用OpenAIEmbeddings生成嵌入。
- 使用Qdrant向量数据库存储这些嵌入，以便后续检索。
- 向量数据库允许我们高效地存储和查询高维向量数据，支持自然语言处理和人工智能应用。
-
信息检索：
- 当用户提出问题时，将问题转换为向量。
- 在向量数据库中检索与问题向量最相似的嵌入。
- 使用余弦相似度作为度量标准，因为我们在处理文本数据，关心的是语义相似性。
-
生成回答：
- 将检索到的文档块（即嵌入对应的文本）与问题一起传递给大模型（如GPT-3.5）。
- 大模型基于这些信息和自身知识生成回答。
- 我们使用LangChain的RetrievalQA链来简化这一过程，它结合了检索器和大模型，实现了端到端的问答功能。
-
UI实现：
- 使用Flask框架创建一个Web应用，接收用户问题并展示生成的答案。
- 网页界面友好，用户可以通过输入框提问，并立即看到答案。
技术要点与选择
- LangChain框架：简化了知识库问答系统的构建过程，提供了文档加载、嵌入生成、向量数据库存储、信息检索和答案生成等一站式解决方案。
- 向量数据库：选择了Qdrant作为向量数据库，但也可以选择其他如Pinecone、Chroma等向量数据库，根据具体需求和性能考虑。
- 大语言模型：使用了GPT-3.5作为大模型，但也可以尝试使用HuggingFace提供的开源模型如google/flan-t5-x1，根据模型性能和可用性进行选择。
思考与展望
- 本项目的成功实施展示了LangChain框架在构建知识库问答系统方面的强大能力。
- 未来可以尝试使用更先进的向量数据库和大语言模型，以提高系统的性能和准确性。
- 还可以进一步扩展系统的功能，如支持多语言问答、增加智能推荐等。
通过本次项目，我们不仅解决了“易速鲜花”内部员工查询困难的问题，还深入了解了LangChain框架和向量数据库在知识库问答系统中的应用。这为我们未来在人工智能和自然语言处理领域的研究和实践提供了宝贵的经验和启示。
