引言
Milvus正在迅速成为处理大规模嵌入向量的理想数据库。这些向量通常由深度神经网络和其他机器学习模型生成。在这篇文章中，我们将介绍如何使用Milvus向量存储和自查询检索器（SelfQueryRetriever）来实现智能的电影信息检索。我们将演示如何创建Milvus向量存储以及如何利用自查询检索器进行复杂的查询。
主要内容
创建Milvus向量存储
要开始，我们需要创建一个Milvus向量存储，并用一些数据进行初始化。这里，我们准备了一组示例电影摘要数据。为了方便起见，我们使用Milvus的云版本，因此需要uri和token。
首先，确保安装了必要的Python包：
%pip install --upgrade --quiet lark langchain_milvus
我们将使用OpenAI的嵌入，所以需要OpenAI的API密钥：
import os
from langchain_core.documents import Document
from langchain_milvus.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings
OPENAI_API_KEY = "Use your OpenAI key:)"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
embeddings = OpenAIEmbeddings()
# 使用API代理服务提高访问稳定性
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "action"},
),
# 其他电影文档...
]
vector_store = Milvus.from_documents(
docs,
embedding=embeddings,
connection_args={"uri": "Use your uri:)", "token": "Use your token:)"},
)
创建自查询检索器
接下来，我们实例化自查询检索器（SelfQueryRetriever）。我们需要提供关于文档支持的元数据字段和文档内容的简要描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string",
),
AttributeInfo(
name="year",
description="The year the movie was released",
type="integer",
),
AttributeInfo(
name="rating", description="A 1-10 rating for the movie", type="float"
),
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vector_store, document_content_description, metadata_field_info, verbose=True
)
代码示例
下面是如何使用自查询检索器进行多种查询的完整示例：
# 简单的主题查询
results = retriever.invoke("What are some movies about dinosaurs")
print(results)
# 带过滤条件的查询
results = retriever.invoke("What are some highly rated movies (above 9)?")
print(results)
# 结合查询和过滤条件
results = retriever.invoke("I want to watch a movie about toys rated higher than 9")
print(results)
# 使用复杂的复合过滤器
results = retriever.invoke("What's a highly rated (above or equal 9) thriller film?")
print(results)
# 使用限制获取文档数量
retriever = SelfQueryRetriever.from_llm(
llm,
vector_store,
document_content_description,
metadata_field_info,
verbose=True,
enable_limit=True,
)
results = retriever.invoke("What are two movies about dinosaurs?")
print(results)
常见问题和解决方案
网络限制
由于某些地区对API访问存在网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。
数据准确性
在使用嵌入和检索器时，确保数据的准确性和有效性至关重要。需要定期更新和检查数据集。
总结和进一步学习资源
Milvus结合自查询检索器可以极大地提高复杂数据查询的效率。在掌握本文中的基础知识后，您可以探索更多的ML模型和查询优化技术。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
