作者：来自 Elastic Aditya Tripathi, Hemant Malik, Vectorize Team
我们很高兴地宣布 Vectorize 现已与 Elasticsearch 向量数据库集成！这一强大的组合简化了构建检索增强生成 (retrieval augmented generation - RAG) 管道的过程，使 AI 工程师能够专注于以前所未有的速度和准确性构建应用程序。
Elasticsearch 向量数据库支持快速、高效地实时搜索和检索向量数据，使其成为 RAG 应用程序的绝佳数据库。Vectorize 的 RAG 管道提取和转换非结构化数据，将向量搜索索引加载到数据库中，并确保索引保持最新，以便你的大型语言模型 (large language model - LLM) 始终拥有最新数据。通过自动化你的 RAG 管道，你可以专注于构建可靠、稳健、准确的 AI 应用程序。
为 RAG 准备数据：从提取到嵌入
构建一个为你的 RAG 应用程序提供最佳相关性的向量索引可能需要大量的时间和精力。预处理非结构化数据（数据提取、清理和格式化等任务）可能既耗时又复杂。开发人员必须确定要为其数据集使用哪种嵌入模型和分块策略（chunking stragegy），这通常需要进行实验和猜测。做好所有这些步骤至关重要，因为任何错误都会严重影响最终文本嵌入的质量。管理和预处理数据所花费的时间会减少你构建应用程序所花费的时间。
简化准确、可用于生产的 RAG 管道
这就是 Vectorize 的作用所在。Vectorize 允许你自动化从数据提取到确保你的向量搜索索引保持优化和准确的所有操作。
可以使用 Vectorize 的 RAG 评估工具定量评估向量化策略，使你能够在构建 RAG 管道之前确定最佳方法。你可以比较不同的嵌入模型和分块策略对数据的表现，并查看 NDCG（Normalized Discounted Cumulative Gain - 归一化折现累积增益）和相关性分数等指标。Vectorize 中的评估功能可显著加快识别提供最大相关性并生成最准确响应的策略的速度。这使你能够自信地根据指标而不是猜测构建 RAG 管道。
构建准确、可靠的管道
Vectorize 与 Elasticsearch 向量数据库的集成使 AI 工程师能够快速创建可靠的 RAG 管道并专注于构建应用程序，而不是花时间进行预处理和确定最佳向量化策略。
Elastic 的向量和混合搜索功能为搜索和分析大型数据集提供了强大的工具。它处理结构化和非结构化数据，使其成为现实世界生成 AI 模型的理想选择。Elastic 的语义搜索提高了对上下文的理解，从而产生了更准确、更相关的 AI 生成响应。这些功能对于需要特定知识的任务特别有用，例如个性化推荐、产品搜索和基于用户行为的对话以及许多其他应用程序。
Elastic 用于 AI 搜索应用程序开发的搜索工具与 Vectorize 的智能自动化和定量数据驱动方法相结合，使 AI 工程师能够以前所未有的速度构建和交付可用于生产的 RAG 管道，并且具有无与伦比的准确性。
开始使用 Elastic Cloud 和 Vectorize
准备好简化你的 AI 工作流程了吗？使用 Elasticsearch 向量数据库通过 Vectorize 创建 RAG 管道，以便更轻松地在生产中部署高性能、准确的 RAG 应用程序。
本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
在这篇博文中，我们可能使用或提到了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。将 AI 工具用于个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成 AI 工具之前，你应该熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
原文：Optimize your RAG workflows with Elasticsearch and Vectorize | Elastic Blog
