探索MyScale：集成向量数据库与LangChain的完美结合

用户57716616653
95 阅读3分钟

引言

在当今快速发展的数据驱动世界中，如何高效地处理和检索信息成了至关重要的挑战。MyScale作为一个集成的向量数据库，提供了一种灵活且强大的解决方案。通过支持SQL访问和与LangChain的集成，MyScale可以处理多种数据类型和功能。本文将深入探讨MyScale向量存储的创建和使用，展示其在LLM应用扩展中的强大能力。

主要内容

创建MyScale向量存储

MyScale已经与LangChain集成，支持多种数据类型和过滤功能。您需要安装lark和clickhouse-connect来与MyScale后端互动。

%pip install --upgrade --quiet lark clickhouse-connect

配置API密钥

要使用OpenAI嵌入功能，您需要配置相应的API密钥。以下代码示例展示了如何安全地设置这些环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["MYSCALE_HOST"] = getpass.getpass("MyScale URL:")
os.environ["MYSCALE_PORT"] = getpass.getpass("MyScale Port:")
os.environ["MYSCALE_USERNAME"] = getpass.getpass("MyScale Username:")
os.environ["MYSCALE_PASSWORD"] = getpass.getpass("MyScale Password:")

向量存储示例数据

以下是创建MyScale向量存储的示例数据。数据包括电影的简要描述以及相关的元数据，如日期、评分和类型。

from langchain_community.vectorstores import MyScale
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()  # 使用API代理服务提高访问稳定性

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"date": "1993-07-02", "rating": 7.7, "genre": ["science fiction"]},
    ),
    # 更多文档...
]

vectorstore = MyScale.from_documents(docs, embeddings)

创建自查询检索器

MyScale支持自查询检索器，允许用户提供自然语言查询并获取相关信息。以下是如何设置一个自查询检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genres of the movie.", type="list[string]"),
    AttributeInfo(name="date", description="The date the movie was released", type="timestamp"),
    # 更多属性...
]

llm = ChatOpenAI(temperature=0, model_name="gpt-4o")
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description="Brief summary of a movie", metadata_field_info, verbose=True
)

代码示例

以下展示了自查询检索器的使用场景。

retriever.invoke("What are some movies about dinosaurs")  # 只指定查询
retriever.invoke("I want to watch a movie rated higher than 8.5")  # 只指定过滤条件
retriever.invoke("Has Greta Gerwig directed any movies about women")  # 查询和过滤组合

常见问题和解决方案

  • 网络访问问题：由于某些地区的网络限制，您可能需要使用API代理服务来提高访问的稳定性。

  • 数据一致性：确保所有元数据字段的一致性，特别是在使用复杂的过滤条件时。

总结和进一步学习资源

MyScale通过丰富的功能和优秀的性能为LLM应用提供了极大的便利。掌握MyScale的使用，可以大大提高数据检索的效率和精确性。更多信息可以参考官方文档和示例代码。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝