作者：来自 Elastic Elastic DevRel team
Elastic DevRel 团队向你问好！在本期新闻通讯中，我们将介绍 jina-embeddings-v5-omni、最新的博客和视频，以及即将举行的活动。
有哪些新内容？
Elastic 于 2025 年底收购了 Jina AI，jina-embeddings-v5-omni 现已在 Elastic Inference Service 上提供，包括 small 和 nano 两个变体。该模型可在一个共享的嵌入空间中处理文本、图像、音频和视频，因此你可以使用一个索引和一次查询跨所有媒体类型进行查询。
一个索引即可搜索你今天无法搜索的一切
你一定遇到过这样的情况：某些内容确实存在于某个地方，比如 PDF 附件、会议录音，或者 120 个都叫 “每周利益相关者演示” 的文件之一，但你的搜索引擎只能处理文本，因此无法找到它。
如今，构建多模态搜索意味着必须接受以下两种折中方案之一。第一种是为每种模态使用单独的嵌入模型和索引，然后在查询时以某种方式对结果进行排序和合并。第二种是使用一个大型多模态模型，但这类模型通常拥有 70 多亿个参数，运行缓慢且成本高昂，而且最先进的模型通常是闭源权重，因此你无法在本地运行它们，也无法查看其内部内容。
jina-embeddings-v5-omni 采用了另一条路径：一个紧凑的模型家族，将四种模态全部映射到同一个向量空间，因此文本查询可以直接检索相关的视频帧、音频片段或扫描文档，而无需进行跨索引合并。
跨模态搜索的实际应用
文本查询 “cat” 在 《Breakfast at Tiffany's》 预告片的 28 个场景嵌入上的排序结果。猫出现的场景排在第一位。
为了演示视频搜索，Elastic 团队使用了 1961 年电影 《Breakfast at Tiffany's》 的预告片（158 秒），利用 pyscenedetect 将其拆分为 28 个场景，并使用 jina-embeddings-v5-omni-small 将每个场景嵌入到同一个 Elasticsearch 索引中。使用单词 “cat” 进行查询时，包含猫的场景被返回为排名第一的结果。查询 “kiss” 时，则只返回接吻场景。整个过程完全基于纯文本，无需任何视频专用处理流水线。
同样的原理可以扩展到所有模态：
-
**音频 → 图像：**向模型说出 “meow”，会生成一个嵌入，并从数据集中检索出猫的图片，因为音频和图像共享同一个向量空间。
-
**图像 → 文档：**上传一张发票照片，无需任何 OCR 或文本提取步骤，即可在文档集合中找到匹配的发票。
-
**多模态查询：**一张汽车草图结合文本 “white”，会检索出白色汽车的图片，两种模态会融合为同一个查询向量。
-
**文本 → 音乐流派：**一个关于音乐流派的文本描述会返回匹配的音频片段，这对于媒体库编目非常有用。
在用于视频内部片段检索的 Charades-STA 基准测试中， v5-omni-small 的得分为 55.57。ByteDance 的 Seed 1.6（一个闭源权重模型）的得分为 29.3。论文指出，片段检索（即在较长视频中找到正确片段）正是 omni 模型表现尤为出色的领域。
基准测试：50 亿参数以下表现最好的开源权重模型
Charades-STA（视频片段检索）。 v5-omni-small 在不足 20
v5-omni-small 在四项标准基准测试中进行了测试：用于文本的 MMTEB、用于图像的 MIEB、用于视频的 MMEB，以及用于音频的 MAEB。它在这四项基准上的平均得分为 53.93，是所有参数少于 50 亿的开源权重模型中得分最高的。
在视觉文档检索（ViDoRe 基准）中， v5-omni-small 使用不足 10 亿个激活参数，其得分优于一个领先的 30 亿参数模型，并接近一个 70 亿参数模型，而后者的规模几乎是它的 8 倍。对于纯文本查询，它继承了完整的 jina-embeddings-v5-text 基线，而该模型本身已经在 MMTEB 上领先于同等规模的模型，因此它也是所有同级别 omni 模型中文本性能最强的模型。
Elasticsearch 集成：向后兼容且存储高效
由于 v5-omni 的文本骨干与 v5-text 完全没有改变，因此该模型生成的文本嵌入 按位完全一致。如果你已经基于 jina-embeddings-v5-text 构建了一个文本索引，那么你可以直接向其中添加图像、音频和视频，而无需重建索引，也无需重新嵌入任何已有文档。
v5-omni 还继承了 Elasticsearch 的两项主要存储优化：
-
更优二进制量化（Better Binary Quantization，BBQ）：对向量进行二值化，实现 93% 的存储空间减少，同时准确率损失不到 3%。有关配置细节，请参阅 BBQ 文档。
-
Matryoshka 表示学习：嵌入可以截断到最少仅 32 个维度。不同模态对截断的敏感程度不同；视频比文本或图像更敏感，因此在选择维度预算之前，请查看相应的权衡图表。
将嵌入截断到 256 个维度，并同时应用二进制量化，可以显著减少索引占用空间，同时保留大部分检索质量。
在 Elastic Inference Service 上，jina-embeddings-v5-omni-small 和 jina-embeddings-v5-omni-nano 的推理端点和 Kibana 连接器都会自动创建，无需任何手动配置。 Elastic 文档还介绍了如何通过 Hugging Face 进行本地部署。这两个模型也可通过 Jina API 和 Hugging Face（CC-BY-NC-4.0）获取。
完整的技术文章（包括架构细节和基准测试结果分析）发布在 Elasticsearch Labs 博客和 arXiv 上的 GELATO 论文中。原始视频讲解可在 B 站 上观看。
博客、视频和有趣的链接
- 积分优惠：通过 AWS Marketplace 或 Microsoft Marketplace 订阅 Elastic Cloud，即可获得价值 1,000 美元的积分。
- **持久化 agent 内存：**加入 Jeff Vestal，了解如何使用 Elasticsearch 在 Claude Code 中为 AI agent 提供跨会话持久化内存。
- **向量搜索：**Jeffrey Rengifo 分享了六个在 Elasticsearch 上构建 AI 搜索应用的向量搜索技巧。
- **OGX 与 Elasticsearch：**跟随 Enrico Zimuel 学习如何将 Elasticsearch 配置为 OGX 向量存储、导入 PDF，并构建一个 Python RAG agent。
- **网络拓扑：**与 Connor Pierce 一起探索 Kibana 的 Network Topology 插件，它提供了一个可直接部署的 Logstash 流水线、结构化模式以及拓扑视图。
- **Streams：**Edward Lewis 演示了如何在 Elastic Streams 中结合保留策略和数据层级配置降采样，并提供实时预览和验证。
- **安全：**Jamie Hynds 和 Mia LaVada 介绍了 Elastic Security 如何摄取 Google Threat Intelligence。Jamie Hynds 和 Sumana Mannem 演示了如何在 Elastic Security 中监控 Claude 活动。
查看以下视频：
-
《你的 AI 编码 agent 变笨了，而你却没有注意到》，作者：JP Hwang
-
《用 12 个层级讲解搜索算法（ BM25、向量、RAG 等）》，作者：Jon Avezbaki
-
《Elasticsearch 的全新默认嵌入模型：详解》，作者：JD Armada
精选社区博客：
-
《使用 Elastic Stack 轻松实现 TLS 证书监控》，作者：Raihan Iqbal
-
《在 Elasticsearch 之上实现虚拟文件系统》，作者：Leonie Monigatti
加入你所在地区的 Elastic User Group 分会，获取即将举行活动的最新消息！你也可以在 meetup.com 上找到我们。如果你有兴趣在 meetup 上进行分享，请发送电子邮件至 meetups@elastic.co。
本文中描述的任何特性或功能的发布和时间安排，均由 Elastic 自行决定。任何当前尚不可用的特性或功能，都可能无法按时交付，甚至可能不会交付。
在本文中，我们可能使用或提及了第三方生成式 AI 工具，这些工具归其各自所有者所有并由其运营。Elastic 对这些第三方工具没有任何控制权，也不对其内容、运行或使用承担任何责任，对于因你使用这些工具而产生的任何损失或损害，Elastic 亦不承担任何责任。
在使用 AI 工具处理个人信息、敏感信息或机密信息时，请务必谨慎。你提交的任何数据都可能被用于 AI 训练或其他用途。你提供的信息无法保证会被安全或保密地保存。在使用任何生成式 AI 工具之前，你应熟悉其隐私政策和使用条款。
Elastic、Elasticsearch 及其相关标识是 elasticsearch B.V. 在美国及其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
