实时分析与搜索的革命：用Rockset和LangChain构建高效矢量存储

用户955766060958
72 阅读2分钟

引言

在现代数据密集型应用中，实时分析和快速搜索是关键。Rockset作为一种专为云构建的实时搜索和分析数据库，通过其独特的Converged Index™来提供低延迟、高并发的查询服务。本文将向您展示如何利用LangChain在Rockset中实现矢量存储，从而优化数据处理和搜索体验。

主要内容

设置环境

首先，确保您拥有一个Rockset账号和API密钥。安装langchain-community以便与Rockset集成：

pip install -qU langchain-community

在Rockset控制台中创建一个新的集合（collection），并配置撰写API作为数据源。在本例中，我们命名集合为langchain_demo。

配置数据摄入转换

使用以下SQL配置您的摄入转换，以标记矢量字段并优化性能：

SELECT _input.* EXCEPT(_meta), 
VECTOR_ENFORCE(_input.description_embedding, 1536, 'float') as description_embedding 
FROM _input

接下来，根据您的区域（这里假设为Oregon(us-west-2)）获取API密钥，并安装rockset-python-client：

pip install --upgrade --quiet rockset

使用LangChain存储和搜索矢量嵌入

1. 定义关键变量

import os
import rockset

ROCKSET_API_KEY = os.environ.get("ROCKSET_API_KEY")
ROCKSET_API_SERVER = rockset.Regions.usw2a1  # 思考使用API代理服务提高访问稳定性

rockset_client = rockset.RocksetClient(ROCKSET_API_SERVER, ROCKSET_API_KEY)
COLLECTION_NAME = "langchain_demo"
TEXT_KEY = "description"
EMBEDDING_KEY = "description_embedding"

2. 准备文档

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Rockset
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

3. 插入文档

embeddings = OpenAIEmbeddings()

docsearch = Rockset(
    client=rockset_client,
    embeddings=embeddings,
    collection_name=COLLECTION_NAME,
    text_key=TEXT_KEY,
    embedding_key=EMBEDDING_KEY,
)

ids = docsearch.add_texts(
    texts=[d.page_content for d in docs],
    metadatas=[d.metadata for d in docs],
)

4. 搜索相似文档

query = "What did the president say about Ketanji Brown Jackson"
output = docsearch.similarity_search_with_relevance_scores(
    query, 4, Rockset.DistanceFunction.COSINE_SIM
)
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

5. 带过滤条件的搜索

output = docsearch.similarity_search_with_relevance_scores(
    query,
    4,
    Rockset.DistanceFunction.COSINE_SIM,
    where_str="{} NOT LIKE '%citizens%'".format(TEXT_KEY),
)
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

6. 删除文档（可选）

docsearch.delete_texts(ids)

常见问题和解决方案

  • 网络访问问题：某些地区可能需要配置API代理服务以确保稳定性。
  • API错误：确保所有API密钥和服务器信息正确配置。

总结和进一步学习资源

在本文中，我们成功创建了一个Rockset集合，并实现了文档的插入与搜索功能。了解更多关于矢量存储的信息，请参阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝