[使用 Xata 作为向量存储：实现高效的相似度搜索]

用户838128610330
72 阅读3分钟

使用 Xata 作为向量存储：实现高效的相似度搜索

引言

在现代数据驱动的应用中，处理和查询大型数据集是一个常见的需求。尤其是当需要进行相似度搜索时，如何高效地存储和检索向量数据成为了一个关键问题。Xata 作为一个基于 PostgreSQL 的无服务器数据平台，为此提供了一种优雅的解决方案。本篇文章将介绍如何使用 Xata 作为向量存储，结合 Python SDK 实现高效的相似度搜索。

主要内容

1. 设置 Xata 数据库

首先，在 Xata 的 UI 中创建一个新的数据库（例如，名为 langchain）。接着，创建一张表（例如，名为 vectors），并添加以下列：

  • content （类型：Text）：用于存储 Document.pageContent 的值。
  • embedding （类型：Vector）：使用与计划使用的模型相同的维度。在本示例中，我们使用 OpenAI 嵌入，其维度为 1536。
  • source （类型：Text）：用于存储元数据。

你可以根据需要添加更多的元数据列。

2. 安装依赖

安装必要的 Python 包：

%pip install --upgrade --quiet xata langchain-openai langchain-community tiktoken langchain

3. 设置 API 密钥

加载 OpenAI 和 Xata 的 API 密钥到环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")  # 输入 OpenAI API 密钥
api_key = getpass.getpass("Xata API key: ")  # 输入 Xata API 密钥
db_url = input("Xata database URL (copy it from your DB settings):")  # 输入数据库 URL

4. 导入必要的模块并创建向量存储

首先导入数据并进行预处理：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores.xata import XataVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
embeddings = OpenAIEmbeddings()

创建实际的向量存储：

vector_store = XataVectorStore.from_documents(
    docs, embeddings, api_key=api_key, db_url=db_url, table_name="vectors"
)

# 使用API代理服务提高访问稳定性

你应该能在 Xata UI 中看到加载的文档及其嵌入。

代码示例：相似度搜索

执行相似度搜索：

query = "What did the president say about Ketanji Brown Jackson"
found_docs = vector_store.similarity_search(query)
print(found_docs)

执行带分数（向量距离）的相似度搜索：

query = "What did the president say about Ketanji Brown Jackson"
result = vector_store.similarity_search_with_score(query)
for doc, score in result:
    print(f"document={doc}, score={score}")

常见问题和解决方案

  • 网络限制：对于某些地区的开发者，访问 Xata 的 API 可能受到网络限制。此时，可以考虑使用 API 代理服务来提高访问稳定性。
  • 模型兼容性：确保你使用的嵌入模型与 Xata 中定义的向量维度相匹配。

总结和进一步学习资源

Xata 提供了一种方便的方法来存储和查询向量数据，特别是在需要进行相似度搜索的应用中。通过本文的介绍，相信你已能够在自己的项目中应用 Xata 进行高效的相似度搜索。如需进一步学习，请参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝