使用多模态LLM构建个人视觉搜索应用：从零开始的指南
引言
随着多模态大型语言模型（LLMs）的开源发布，现在可以为您的私人照片收藏构建自定义的视觉搜索应用。本文将介绍如何利用多模态LLM创建一个能够进行私人视觉搜索和基于图像的问答的应用。我们将演示如何使用模型来生成图像摘要、将其嵌入并存储，从而实现对相关问题进行回答。
主要内容
1. 准备工作
首先，您需要一组用于测试的照片。默认情况下，本文的示例使用了3张食物图片。您可以在/docs目录中提供这些照片。
2. 创建图像索引
使用Python脚本来生成图像的索引。在命令行中运行以下命令：
poetry install
python ingest.py
该脚本将使用本地的多模态LLM（例如bakllava）来总结每张图片，并将这些总结嵌入到数据库中。
3. 存储与检索
我们将使用Chroma来存储图像的摘要，并使用LocalFileStore来存储原始图片。通过文本输入与图片摘要的相似性分析，检索出相关图片进行答案合成。
代码示例
以下是如何配置和运行此应用的示例代码：
# server.py
from rag_multi_modal_mv_local import chain as rag_multi_modal_mv_local_chain
add_routes(app, rag_multi_modal_mv_local_chain, path="/rag-multi-modal-mv-local")
# 使用API代理服务提高访问稳定性
运行上述代码后，您可以通过以下命令启动应用：
langchain serve
这将启动一个本地的FastAPI应用，您可以通过http://localhost:8000访问。
常见问题和解决方案
- 网络限制问题: 如果您在某些地区遇到API访问限制，建议使用API代理服务进行稳定访问。
- 模型兼容性问题: 在下载和使用不同的LLM和嵌入模型时，确保它们与您的代码配置兼容。
总结和进一步学习资源
利用多模态LLM构建私人视觉搜索应用不仅增强了信息检索的能力，同时也是探索AI技术如何在个人项目中应用的良好实践。您可以进一步学习以下资源：
参考资料
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
