打造一个高效的PDF问答系统：从文档加载到答案生成
引言
在现代信息密集的环境中，PDF文件通常包含了许多关键的非结构化数据。这些文件可能内容冗长，并且不像纯文本文件那样可以直接输入到语言模型的提示中。在这篇文章中，我们将介绍如何创建一个系统来回答有关PDF文件的问题。具体来说，我们将使用文档加载器将文本加载到LLM可用的格式中，然后构建一个检索增强生成（RAG）流水线来回答问题，并引用源材料。
主要内容
1. 文档加载
首先，选择要加载的PDF文件。我们将使用Nike的年度公开SEC报告进行演示。该文档超过100页，并包含了一些关键数据。
安装所需的库：
%pip install -qU pypdf langchain_community
使用PyPDFLoader加载PDF：
from langchain_community.document_loaders import PyPDFLoader
file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)
docs = loader.load()
print(len(docs))
print(docs[0].page_content[0:100])
print(docs[0].metadata)
2. RAG问答系统
准备好加载的文档后，使用文本分割器将其分成更小的文档，然后加载到向量存储中，以便后续检索：
pip install -qU langchain-openai langchain_chroma langchain_openai
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()
构建RAG链：
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate
system_prompt = (
"You are an assistant for question-answering tasks. "
"Use the following pieces of retrieved context to answer "
"the question. If you don't know the answer, say that you "
"don't know. Use three sentences maximum and keep the "
"answer concise."
"\n\n"
"{context}"
)
prompt = ChatPromptTemplate.from_messages(
[
("system", system_prompt),
("human", "{input}"),
]
)
question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)
results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})
代码示例
完整代码示例已经在上面的步骤中提供。确保正确配置API Key以及相应的代理服务，以提高访问稳定性。
常见问题和解决方案
- 网络限制问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。
- PDF解析困难：某些复杂格式的PDF可能难以解析，尝试其他文档加载工具或者创建自定义加载器。
总结和进一步学习资源
通过本文，你已经了解了如何从PDF文件加载数据并用RAG技术构建一个问答系统。你可以进一步研究以下资源：
参考资料
- PDF解析与加载工具：LangChain Community
- RAG概念与实现：OpenAI开发者文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
