# 从零开始使用StarRocks构建高性能向量数据库
## 引言
StarRocks 是一款高性能的分析型数据库，适用于多维分析、实时分析和即席查询等场景。其超快的向量化执行引擎不仅在 OLAP 中表现出色，也能用于构建快速的向量数据库 (vectordb)。本文将引导您使用 StarRocks 作为向量数据库，提供实用的知识、代码示例和一些潜在挑战的解决方案。
## 主要内容
### 1. 环境设置
首先，安装必要的 Python 包：
```bash
%pip install --upgrade --quiet pymysql langchain-community
2. 载入文档并分词
我们将从 StarRocks 官方文档入手，载入并分词这些文档。在操作之前，请确保从 StarRocks GitHub 仓库 克隆文档。
from langchain_community.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader
from langchain_text_splitters import TokenTextSplitter
loader = DirectoryLoader(
"./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()
# 加载文本分词器并分割文档
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)
print(f"# docs = {len(documents)}, # splits = {len(split_docs)}")
3. 创建向量数据库实例
使用 StarRocks 作为向量数据库，首先需要配置 StarRocks 实例。配置过程类似于 MySQL。
from langchain_community.vectorstores import StarRocks
from langchain_community.vectorstores.starrocks import StarRocksSettings
from langchain_openai import OpenAIEmbeddings
def gen_starrocks(update_vectordb, embeddings, settings):
if update_vectordb:
docsearch = StarRocks.from_documents(split_docs, embeddings, config=settings)
else:
docsearch = StarRocks(embeddings, settings)
return docsearch
# 配置 StarRocks 设置
settings = StarRocksSettings()
settings.port = 41003
settings.host = "127.0.0.1" # 使用API代理服务提高访问稳定性
settings.username = "root"
settings.password = ""
settings.database = "zya"
embeddings = OpenAIEmbeddings()
docsearch = gen_starrocks(True, embeddings, settings)
4. 构建问答系统
使用预训练模型从向量数据库中检索答案：
from langchain.chains import RetrievalQA
from langchain_openai import OpenAI
llm = OpenAI()
qa = RetrievalQA.from_chain_type(
llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "is profile enabled by default? if not, how to enable profile?"
resp = qa.run(query)
print(resp)
常见问题和解决方案
-
网络连接问题：由于某些地区的网络限制，访问 StarRocks 的 API 可能不稳定。可以考虑使用 Wlai API 代理服务来提高稳定性。
-
性能调优：如果发现性能不佳，检查数据库配置，确保硬件资源充分。
总结和进一步学习资源
StarRocks 为分析型应用提供了高效的解决方案。通过本教程，您可以快速入门并构建自己的向量数据库。对于更深入的了解，请参考 Vector store 概念指南 和 Vector store 操作指南。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
