使用 n8n 和 YugabyteDB 构建端到端 AI 工作流

0 阅读10分钟

使用 n8n 和 YugabyteDB 构建端到端 AI 工作流

摘要:本文介绍如何使用n8n、YugabyteDB和LangChain构建智能AI工作流。展示了通过工作流编排工具n8n配合向量数据库YugabyteDB存储向量嵌入和记忆,并利用LangChain驱动LLM推理,创建能够理解上下文、记住历史操作并自动执行下一步的智能系统。

什么是 AI 工作流?

AI 工作流是一个协调一致的自动化任务序列,集成了数据摄取、语义处理、AI 驱动推理和可操作的输出。与孤立的 AI 模型不同,AI 工作流结合多个组件,例如:

  • 用于语义理解的向量嵌入
  • 用于上下文推理的语言模型(LLM)
  • 用于存储和检索的数据库
  • 用于编排的自动化平台

它们共同使你能够:

  • 从非结构化数据(PDF、文本)中提取知识
  • 使用向量相似性执行语义搜索
  • 通过 LLM 生成上下文感知的响应
  • 通过结构化流程自动执行用户交互

这构成了聊天机器人文档问答系统语义搜索引擎和现代企业AI 驱动自动化等智能应用的基础。

为什么 AI 工作流具有战略性重要性

一直以来,从非结构化数据(如 PDF、Word 文档、HTML 和纯文本)中提取特定信息具有挑战性。

与传统关系数据库(RDBMS)不同,后者可以使用 SQL 查询结构化数据,非结构化数据缺乏直接搜索和检索精确信息的方法。向量化的出现改变了这一现状。

文档现在可以被分块、转换为向量嵌入,并以向量形式存储在数据库中。自然语言查询也可以被向量化并与这些嵌入进行比较,从而实现语义搜索,使你能够根据含义而不是精确关键词找到最相关的信息。

企业正在采用 AI 工作流来:

  • 将静态文档转换为可通过自然语言访问的动态知识
  • 实现超越关键词搜索的语义理解
  • 通过 AI 辅助自动执行重复性任务
  • 通过上下文感知的洞察改进决策

大型语言模型(LLM)向量数据库低代码编排平台(如 n8n)的融合正在彻底改变企业与数据交互的方式。

AI 工作流不再是实验性的——它们对于客户支持、内部知识管理、合规自动化等至关重要。

为什么 YugabyteDB 是向量嵌入的变革者

虽然有几种专门的向量数据库(Pinecone、Weaviate、Chroma)可用,YugabyteDB pgvector 因以下特性而成为企业用例的理想选择。

特性YugabyteDB pgvector典型向量数据库
PostgreSQL 兼容性原生 pgvector 扩展,标准 SQL 接口自定义 API,学习曲线陡峭
事务完整性完整 ACID -compliance,适合 OLTP 工作负载通常是最终一致性
统一数据存储无缝结合关系数据和向量数据需要维护单独的关系数据库
分布式 SQL 架构水平可扩展性,地理分区可扩展性取决于提供商实现
企业控制和灵活性开源,可部署在任何地方(云/本地)SaaS 优先,供应商锁定问题

YugabyteDB 弥合了向量搜索和事务应用之间的差距,使其成为需要同时存在关系数据和语义数据的企业级 AI 工作流的理想选择。

此 AI 工作流架构的主要优势

  • **统一向量和关系数据平台:**通过使用 YugabyteDB 处理向量和业务数据来简化架构。
  • **可扩展、分布式且具弹性:**YugabyteDB 的分布式 SQL 确保高可用性、容错性和地理分布。
  • **使用 n8n 的无代码编排:**无需复杂集成即可实现快速的工作流设计和部署。
  • **LLM 驱动的上下文响应:**结合向量相似性搜索与 OpenAI/Anthropic/Google Gemini 等,实现推理能力。
  • **高效的文档处理管道:**支持大规模 PDF 摄取、分块、嵌入和检索。
  • **成本优化和开源灵活性:**避免 SaaS 向量数据库定价;可部署在受控的企业环境中。

使用 n8n + YugabyteDB pgvector 的分步 AI 工作流

下图显示了 n8n 工作流设计器及其组件,用于使用 OpenAI 嵌入将数据从自由形式直接集成到 YugabyteDB 向量存储。

image.png### 文档摄取和向量嵌入

此工作流将使用以下组件。

  1. 表单提交触发器:使用浏览/文件上传按钮捕获上传的 PDF 文档、Word 或任何文本文档
  2. 数据加载器和递归字符分割器:将文档内容提取并标记化为适合嵌入的块。
  3. OpenAI 嵌入节点:生成表示语义内容的高维向量。

YugabyteDB pgvector 存储:将向量持久化在启用向量功能的 YugabyteDB 表中,以及用于高效检索的元数据。下面的模式定义显示了一个 n8n_vector_file 表,用于存储嵌入。

yugabyte=# \d
                    List of relations
 Schema |           Name            |   Type   |  Owner

 public | n8n_vector_file           | table    | yugabyte

(1 rows)

yugabyte=# \d n8n_vector_file
                 Table "public.n8n_vector_file"
  Column   |  Type  | Collation | Nullable |      Default
-----------+--------+-----------+----------+--------------------
 id        | uuid   |           | not null | uuid_generate_v4()
 text      | text   |           |          |
 metadata  | jsonb  |           |          |
 embedding | vector |           |          |
Indexes:
    "n8n_vector_file_pkey" PRIMARY KEY, lsm (id ASC)

yugabyte=# select count(1) from n8n_vector_file ;
 count
-------
    11
(1 row)

yugabyte=#

使用向量搜索和 LLM 的交互式问答

n8n 是一个开源工作流自动化工具,可让你跨 300+ 应用直观地构建和自动化任务。它支持自托管、自定义逻辑、API 集成和只需最少代码的数据工作流。

使用 n8n 工作流设计器,我们可以将本地 n8n 设置或 n8n 云中的各种 AI 组件集成在一起。

创建你的第一个工作流

  • 添加一个 Webhook 触发器
  • 添加一个 Slack、Email 或 PostgreSQL 节点
  • 连接节点 → 执行

下图显示了 n8n 工作流设计器及其组件,用于与聊天组件(问答或搜索)交互。这将连接一个 AI 代理,并使用 OpenAI 模型从加载在 YugabyteDB 表中的内存或嵌入中获取数据。

n8n 允许导入和导出工作流,可以保存为 JSON 文件。这些 JSON 文件可以重新导入 n8n 或与他人共享。工作流也可以导出到文件或复制到剪贴板

使用 YugabyteDB 的 AI 代理工作流 - 简要概述

此工作流展示了使用 n8n 构建的端到端 AI 自动化,结合了会话智能、语义搜索和内存。当用户发送消息时,它会触发由 OpenAI 聊天模型驱动的 AI 代理。该代理使用以下工具:

  • YugabyteDB 聊天内存用于回忆过去的交互,
  • YugabyteDB PGVector 存储用于通过向量嵌入进行语义搜索,
  • 汇总链用于返回简洁且上下文感知的响应。

该系统集成了向量嵌入(通过 OpenAI)和检索机制,以提供准确的、内存增强的且语义丰富的回复——这是使用 LLM 和数据库智能的代理 AI 工作流的实际示例。此快照捕获了在 n8n 中构建的代理 AI 工作流的实时执行,展示了 OpenAI 的 LLM、YugabyteDB 与 pgvector 以及增强内存的工具链之间的无缝集成。

当收到用户的查询 "list of colleges in Tamil Nadu with aeronautical courses" 时,AI 代理动态地:

  • YugabyteDB 聊天内存中检索过去的聊天上下文,
  • 使用 OpenAI 生成嵌入,
  • 查询 PGVector 存储以获取语义相关的文档,
  • 使用 汇总链返回清晰且汇总的答案。

下面的嵌入式聊天窗口展示了代理如何加载内存变量并构建上下文响应。此工作流是 LLM 如何在实时中使用内存、工具和语义检索以提供智能且相关答案的实际示例。

image.png以下组件用于上述 n8n AI 工作流

  1. 聊天消息触发器:从聊天机器人界面捕获用户查询。
  2. AI 代理节点:编排工具使用——向量搜索、内存回忆、LLM 推理。
  3. 嵌入器和 pgvector 存储搜索:动态嵌入用户查询并对存储的文档向量执行相似性搜索。
  4. 汇总链:使用 OpenAI 增强搜索结果,提供上下文感知的汇总。
  5. 响应生成:将统一的、类似人类的答案返回给用户。

AI – 工作流实现要点

主要业务用例:

企业知识检索

赋予员工使用自然语言轻松查询内部文档的能力。这通过最大限度地减少搜索静态文件、手册和知识库的时间来显著提高生产力。

合同和文档问答(Q&A)

在法律合同、技术手册和标准操作程序(SOP)上启用交互式问答功能。通过从内部文档提供快速且上下文准确的响应,提高法律、合规和业务团队的运营效率。

AI 驱动的客户支持助手

部署提供即时、上下文感知响应的智能虚拟助手。这减少了人工支持团队的工作量,同时显著改善了客户体验和响应时间。

跨结构化和非结构化数据的上下文搜索

促进结合元数据过滤器(如客户ID、产品类型)与语义向量搜索的高级搜索能力。非常适合 CRM 系统、产品目录和企业知识库,这些地方同时存在关系数据和非结构化数据。

结论

通过无缝集成 YugabyteDB 的向量嵌入功能OpenAI 模型n8n 工作流编排,企业可以开发强大且可扩展的 AI 解决方案,提供真正的价值。这种统一方法:

  • 简化架构,消除对碎片化独立向量数据库的需求。
  • 轻松扩展,借助 YugabyteDB 的分布式 SQL 架构,确保高可用性和性能。
  • ** democratize AI 驱动的搜索和问答**,通过 n8n 的直观低代码编排。

这不仅仅是技术增强——它是企业级 AI 转型的战略推动者,弥合了数据和可操作智能之间的差距。

想了解有关向量搜索的更多信息?请查看这篇最近的博客,其中分享了 YugabyteDB 如何集成由 USearch 驱动的分布式向量索引引擎,以通过 Postgres 兼容的 SQL 接口提供快速、可扩展且具弹性的原生向量搜索。