# 引言
在庞大的数据处理需求下，实时分析是企业做出快速决策的关键。Apache Doris作为一个现代化的数据仓库，提供了对实时数据的快速分析能力，被广泛应用于OLAP（联机分析处理）场景。本文旨在介绍如何使用Apache Doris作为向量数据库，特别是结合Langchain进行文档处理和问答系统开发。
# 主要内容
## Apache Doris简介
Apache Doris是一种新兴的数据仓库技术，专为大规模实时数据分析而设计。凭借其超快的矢量化执行引擎，Doris不仅在ClickBench等基准测试中表现优异，还能够作为快速的向量数据库使用。
## 集成Langchain社区库
为了利用Apache Doris的向量数据库功能，我们需要安装`langchain-community`库。这可以通过以下命令完成：
```bash
pip install -qU langchain-community
设置和文档加载
我们通过以下步骤设置Apache Doris，并加载文档作为数据源：
-
安装必要的Python库：
%pip install --upgrade --quiet pymysql !pip install sqlalchemy !pip install langchain -
使用Langchain社区库加载文档：
from langchain_community.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader # 加载docs目录下的所有Markdown文件 loader = DirectoryLoader( "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader ) documents = loader.load() -
将文档分割为令牌：
from langchain_text_splitters import TokenTextSplitter text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50) split_docs = text_splitter.split_documents(documents)
代码示例
以下是一个完整的示例代码，展示了如何使用Apache Doris作为向量数据库，并构建一个简单的问答系统：
import os
from getpass import getpass
from langchain.chains import RetrievalQA
from langchain_community.vectorstores.apache_doris import ApacheDoris, ApacheDorisSettings
from langchain_openai import OpenAI, OpenAIEmbeddings
os.environ["OPENAI_API_KEY"] = getpass() # 输入你的OpenAI API密钥
# 配置Apache Doris实例
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "172.30.34.130" # 使用API代理服务提高访问稳定性
settings.username = "root"
settings.password = ""
settings.database = "langchain"
# 转换令牌为embeddings并放入向量数据库
embeddings = OpenAIEmbeddings()
docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
# 使用RetrievalQA构建问答系统并提问
llm = OpenAI()
qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=docsearch.as_retriever())
query = "what is apache doris"
resp = qa.run(query)
print(resp)
常见问题和解决方案
网络访问问题
由于网络限制，开发者在某些地区可能需要使用API代理服务访问OpenAI API。在配置Doris实例时，确保使用的主机地址是可访问的。
文档分割和更新
在文档内容更新时，需要重新分割和生成嵌入。设置update_vectordb = True以确保数据库中的数据是最新的。
总结和进一步学习资源
Apache Doris是一款强大的实时数据分析工具，结合Langchain库可以极大地提升数据处理的效率。对于需要处理大量实时数据的场景，Doris提供了高效且灵活的解决方案。
进一步学习资源：
参考资料
- Apache Doris官网：doris.apache.org/
- ClickBench基准测试：clickbench.org/
- Langchain社区库：langchain.com/community
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
