探索Marqo向量存储：多模态数据的搜索利器

tangtang123
81 阅读3分钟 
# 探索Marqo向量存储：多模态数据的搜索利器

## 引言
在现代数据驱动的世界中，快速高效地处理和搜索多模态数据（如文本和图像）对许多应用场景至关重要。Marqo是一个开源的向量搜索引擎，专注于解决这一问题。本篇文章将带你深入了解如何使用Marqo来存储和查询多模态数据，并提供相关的代码示例和常见问题的解决方案。

## 主要内容

### 1. Marqo概述
Marqo提供了一种简便的方式来处理多模态数据，通过使用一系列的开源模型生成向量。用户也可以提供自己的模型，Marqo会自动处理模型的加载和推理。由于一些地区的网络限制，开发者可能需要通过使用API代理服务来提高访问的稳定性。

### 2. 设置Marqo环境
要开始使用Marqo，需要安装`langchain-community`库。可以通过以下命令进行安装：
```bash
pip install -qU langchain-community

此外，你需要通过Docker运行Marqo实例，以下是相关命令：

docker pull marqoai/marqo:latest
docker rm -f marqo
docker run --name marqo -it --privileged -p 8882:8882 --add-host host.docker.internal:host-gateway marqoai/marqo:latest

3. 使用Marqo处理文档

以下是如何使用Marqo加载和处理文本文档的示例代码：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Marqo
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

import marqo

# 初始化marqo客户端
marqo_url = "http://localhost:8882"  # 使用API代理服务提高访问稳定性
marqo_api_key = ""

client = marqo.Client(url=marqo_url, api_key=marqo_api_key)

index_name = "langchain-demo"
docsearch = Marqo.from_documents(docs, index_name=index_name)

query = "What did the president say about Ketanji Brown Jackson"
result_docs = docsearch.similarity_search(query)
print(result_docs[0].page_content)

4. 处理多模态数据

Marqo不仅支持文本查询，还支持多模态数据的索引和搜索。以下是一个多模态数据的处理示例：

index_name = "langchain-multimodal-demo"
settings = {"treat_urls_and_pointers_as_images": True, "model": "ViT-L/14"}
client.create_index(index_name, **settings)
client.index(index_name).add_documents([
    {"caption": "Bus", "image": "https://raw.githubusercontent.com/marqo-ai/marqo/mainline/examples/ImageSearchGuide/data/image4.jpg"},
    {"caption": "Plane", "image": "https://raw.githubusercontent.com/marqo-ai/marqo/mainline/examples/ImageSearchGuide/data/image2.jpg"},
])

5. 加权查询和高级用法

Marqo支持加权查询，这使得可以进行复杂的语义搜索。通过分配不同权重来组合多个查询条件，从而让搜索结果更加符合预期。

常见问题和解决方案

  • 网络访问问题：由于网络限制，可以考虑使用API代理服务以确保稳定的访问。
  • 模型加载失败：确保提供的模型格式正确并且是受支持的模型类型。

总结和进一步学习资源

本篇文章介绍了如何使用Marqo进行多模态数据的搜索和管理，包括基本的设置和使用示例。Marqo为处理复杂的多模态数据提供了一种高效的解决方案。如果你对向量存储和多模态搜索感兴趣，可以通过以下资源进行深入学习：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝