前端集成 AI 对话的三种方式,我都试了一遍

0 阅读6分钟

公司今年要给好几个产品塞 AI 助手。我作为前端,前后试了三套集成方式,踩了一圈坑,干脆做个横向对比,给团队定型,也顺手发出来。

三种方式简单说

  • 方式 A:前端直连大模型 API。浏览器里直接拿 key 调模型。
  • 方式 B:自建一层 BFF 网关。前端 → 自己的 Node 服务 → 模型。
  • 方式 C:用一个能零代码搭智能体的平台,把对话能力配好直接发成接口。我在上面拖拖拽拽配出一个客服小助手,挂上知识库,平台直接给我一个对话接口,前端只管渲染。

对比表

维度A 前端直连B 自建 BFFC 平台搭好发接口
key 安全差,暴露在浏览器好,藏服务端好,平台托管
前端工作量中(要写转发+流式)
后端工作量几乎无
加知识库自己搞 RAG自己搞 RAG配一下就行
换模型改前端改后端后台切一下
灵活度最高
上线速度快但不安全最快

我的实际感受

方式 A 第一天就被安全同学打回来了,key 写在前端等于裸奔,pass。

方式 B 是最"正统"的,灵活度也最高,但我一个人既写前端又得维护那层 Node 转发、还要自己接 RAG 切片、处理流式,做了快两周才稳。适合长期重投入的核心产品。

方式 C 最省事。我没写一行后端,在那个能拖拽搭智能体的工具里把提示词、知识库、回复格式都配好,它吐给我一个对话接口,前端两小时接完。缺点也实在:回复格式和某些边界行为是平台定的,我想深度定制流式分块的颗粒度就够不着,得迁就它的协议。

怎么选

  • 内部工具、demo、要快 → C
  • 核心产品、要深度定制 → B
  • A 就别考虑了

最后那套接口我用的是[讯飞](公司今年要给好几个产品塞 AI 助手。我作为前端,前后试了三套集成方式,踩了一圈坑,干脆做个横向对比,给团队定型,也顺手发出来。

三种方式简单说

  • 方式 A:前端直连大模型 API。浏览器里直接拿 key 调模型。
  • 方式 B:自建一层 BFF 网关。前端 → 自己的 Node 服务 → 模型。
  • 方式 C:用一个能零代码搭智能体的平台,把对话能力配好直接发成接口。我在上面拖拖拽拽配出一个客服小助手,挂上知识库,平台直接给我一个对话接口,前端只管渲染。

对比表

维度A 前端直连B 自建 BFFC 平台搭好发接口
key 安全差,暴露在浏览器好,藏服务端好,平台托管
前端工作量中(要写转发+流式)
后端工作量几乎无
加知识库自己搞 RAG自己搞 RAG配一下就行
换模型改前端改后端后台切一下
灵活度最高
上线速度快但不安全最快

我的实际感受

方式 A 第一天就被安全同学打回来了,key 写在前端等于裸奔,pass。

方式 B 是最"正统"的,灵活度也最高,但我一个人既写前端又得维护那层 Node 转发、还要自己接 RAG 切片、处理流式,做了快两周才稳。适合长期重投入的核心产品。

方式 C 最省事。我没写一行后端,在那个能拖拽搭智能体的工具里把提示词、知识库、回复格式都配好,它吐给我一个对话接口,前端两小时接完。缺点也实在:回复格式和某些边界行为是平台定的,我想深度定制流式分块的颗粒度就够不着,得迁就它的协议。

怎么选

  • 内部工具、demo、要快 → C
  • 核心产品、要深度定制 → B
  • A 就别考虑了

最后那套接口我用的是[讯飞](公司今年要给好几个产品塞 AI 助手。我作为前端,前后试了三套集成方式,踩了一圈坑,干脆做个横向对比,给团队定型,也顺手发出来。

三种方式简单说

  • 方式 A:前端直连大模型 API。浏览器里直接拿 key 调模型。
  • 方式 B:自建一层 BFF 网关。前端 → 自己的 Node 服务 → 模型。
  • 方式 C:用一个能零代码搭智能体的平台,把对话能力配好直接发成接口。我在上面拖拖拽拽配出一个客服小助手,挂上知识库,平台直接给我一个对话接口,前端只管渲染。

对比表

维度A 前端直连B 自建 BFFC 平台搭好发接口
key 安全差,暴露在浏览器好,藏服务端好,平台托管
前端工作量中(要写转发+流式)
后端工作量几乎无
加知识库自己搞 RAG自己搞 RAG配一下就行
换模型改前端改后端后台切一下
灵活度最高
上线速度快但不安全最快

我的实际感受

方式 A 第一天就被安全同学打回来了,key 写在前端等于裸奔,pass。

方式 B 是最"正统"的,灵活度也最高,但我一个人既写前端又得维护那层 Node 转发、还要自己接 RAG 切片、处理流式,做了快两周才稳。适合长期重投入的核心产品。

方式 C 最省事。我没写一行后端,在那个能拖拽搭智能体的工具里把提示词、知识库、回复格式都配好,它吐给我一个对话接口,前端两小时接完。缺点也实在:回复格式和某些边界行为是平台定的,我想深度定制流式分块的颗粒度就够不着,得迁就它的协议。

怎么选

  • 内部工具、demo、要快 → C
  • 核心产品、要深度定制 → B
  • A 就别考虑了

最后那套接口我用的是讯飞 MaaS 的现成模型,不用自己养算力。你们团队最后选了哪种?评论区报个型。) MaaS 的现成模型,不用自己养算力。你们团队最后选了哪种?评论区报个型。) MaaS 的现成模型,不用自己养算力。你们团队最后选了哪种?评论区报个型。