Vue 2 里的 AI 助手:本地语音、WebGPU、知识检索与受控表单填写

0 阅读14分钟

给一个已有的 Vue 2 后台加 AI 助手,最容易做的是放一个聊天框,最难的是让它真正理解页面,又不会替用户做错事。

我这次想验证的是一条完整的操作链:用户可以打字,也可以直接说;助手先判断该不该回答,再决定用本地检索、浏览器小模型还是云模型;需要操作页面时,只执行已经开放的能力。

最后做出的演示版,已经能找功能、查操作步骤、检索知识、本地语音转文字、辅助填写当前表单,也能把“打开新增页”和“填写”串起来。它接在现有 Vue 2 + Element UI 项目里,没有改写原业务接口和校验。

本文使用独立样例表单。配图保留真实助手组件,重建背景并替换产品、账号和业务信息;姓名、邮箱、金额全部是演示数据,不展示真实企业、客户或员工资料。

先把“纯前端”说准确

这个项目里,本地菜单检索、知识召回、范围判断、语音转写、浏览器小模型推理,以及页面字段识别,都由浏览器完成。

但调用 DeepSeek 的部分并不是零服务端。 演示版有一个只绑定 localhost 的 Node.js 薄代理,负责保管密钥、限制来源与请求,并转发云模型响应。密钥没有写进前端环境变量、静态资源或浏览器存储。

更准确的描述是:前端承担主要智能交互,云模型通过薄代理增强。 不需要为原型先搭一套向量数据库和知识库后台,但正式上线仍需要补上服务端鉴权、额度管理与审计。

浏览器能力与云模型边界。代码绘制的架构图,不含业务信息。

第一层:把输入变成一条可中断的任务

聊天输入、语音输入和快捷示例,最后走同一条任务入口。

每次任务都有递增标识和 AbortController。界面知道当前处于检索、模型加载、流式生成还是表单填写阶段;停止、清空记录、切换账号时,会取消进行中的工作。

只调用 abort 还不够。某些异步回调可能已经排进队列,所以结果返回时还要检查任务编号。一个旧问题的答案,不应该突然覆盖新问题;一个旧页面的填写方案,更不能落到新页面上。

const runId = ++sequence;
const controller = new AbortController();
const result = await generate({ signal: controller.signal });
if (controller.signal.aborted || runId !== sequence) return;
applyResult(result);

这是示意代码。真实实现还需要处理 Worker 请求清理、超时,以及关闭录音后迟到的转写结果。

第二层:从权限菜单生成可导航的能力目录

找功能没有交给大模型猜 URL。

前端读取当前账号原本就拥有的菜单树,过滤角色和权限,再展开成标题、路径、层级和口语别名。用户说“打开合同页面”,先清理礼貌词和“页面、界面”等后缀,再匹配能力目录。

明确、唯一的匹配可以直接导航;同音近似、多个候选或组合指令则留给用户选择。否定句、操作问法、外部网址和不明确的“打开管理”,不会直接执行。

这里还踩过一个很小但真实的坑:把“页”当作页面后缀统一删除,会把“首页”变成“首”。因此首页、主页这类完整名称要单独保留。

点击入口时再次检查权限目录,防止旧聊天里的按钮在授权变化后仍可使用。前端控制导航体验,真正的数据权限仍由原业务接口负责。

第三层:知识召回先做轻量、可解释的实现

当前资料量不大:29篇操作指引、33篇知识条目。知识保留来源、版本、适用范围和关联条目。

检索采用中文片段匹配、业务别名和 Fuse.js 模糊匹配,并结合标题、摘要与正文相关性排序。它是本地知识检索增强,当前没有做 embedding,也没有引入向量库、Chroma 或 LLMWiki。

这点需要说清楚。能把相关资料附到提示词里,不代表已经实现了向量 RAG。

返回资料后,前端整理有限数量的参考条目和近期对话。云模型最多使用5篇资料,浏览器小模型最多2篇,避免把整份知识库和全部历史无差别塞进上下文。

资料编号、来源和适用范围一起进入提示词,回答可以回到参考条目核对。政策、法规等动态内容不据此冒充实时查询;当前问答没有接联网搜索。

真实问答组件运行在重建的演示背景上。知识问题来自公开概念,未输入业务数据。

第四层:范围拦截与三路调度分开处理

“这个问题能不能答”和“交给谁答”,是两次不同的判断。

范围判断先处理问候、明确无关主题、混合请求、平台能力、知识别名和有限追问。比如一般娱乐问答可以在本地提示;“游戏公司的商业模式”又属于经营问题,不能因为出现“游戏”两个字就一概拦截。

通过范围检查后,再选择执行引擎:

  • 明确找功能:本地菜单检索,不调用模型。
  • 简短问题、有资料且浏览器模型已就绪:交给浏览器小模型。
  • 综合方案、多主题分析,或需要准确核对来源的专业问题:交给 DeepSeek。
  • 浏览器模型尚未就绪:给出调度原因,再使用云模型。

用户也可以手动切换回答方式,但找功能仍走本地权限目录。演示代理会复核请求范围,不能只依赖前端按钮。

我曾考虑让浏览器模型先判断范围和复杂度,再选择大模型。最后没有把它作为默认入口:分类本身也要先付出模型下载、初始化和显存成本。对于这个小规模原型,可维护规则的结果更容易复现,也更容易修错。

代价同样明确:规则仍可能误拦或漏拦,需要持续补充真实问法。它不是一个百分之百准确的语义分类器,更不是替代权限系统的安全边界。

第五层:WebGPU 小模型与旧工程解耦

项目保留的是 Qwen2.5 0.5B 的4位量化模型,通过 WebLLM 在浏览器 GPU 中推理。

为了不让旧版 Vue 构建链直接处理完整 WebGPU 运行时,我把运行时与模块 Worker 独立部署,按需加载。Worker 负责初始化、生成和流式片段;主线程只处理请求编号、进度、文本更新和取消。

当前固定运行时版本为 WebLLM 0.2.88。运行时文件、模型权重和首页入口包分开,不能把运行时的几 MB 当成模型总下载量。首次使用仍有明显的下载和初始化成本,因此没有“进入页面就先把模型装好”。

小模型也没有承担所有问题。实际迭代中,它在指标解释和多主题问题上出现过重复与不准确表达,于是自动调度收紧为基础解释;需要专业口径与完整资料的内容优先使用云模型。

云端回答使用 SSE。前端通过 TextDecoder 处理跨网络分片的中文,再按事件边界解析,分别处理文本片段、结束原因和错误。不能假设一次网络读取恰好对应一条完整 JSON。

第六层:语音不依赖浏览器的联网识别服务

最初试过浏览器内置语音识别,实际遇到服务不可用。后来改成浏览器本地 ASR:Whisper-base 多语言量化模型,加 Transformers.js 3.8.1 和 ONNX WASM。

处理链是:

麦克风 → MediaRecorder → 音频解码 → 重采样到16kHz → 静音裁剪与增益 → 独立 Worker 转写 → 文字归一化 → 统一任务入口。

说完后持续静音约2秒会结束录音,每次最多30秒;转写成功后默认自动发送,也允许先核对文字。已知同音词只在完整导航短句中修正,避免把普通问题也改错。

录音不上传,网络只用于加载模型文件。这里的“本地”指的是音频推理位置,并不意味着首次使用不需要下载;当前语音模型与运行时约100MB,转写速度和准确率也受设备、噪声、语速影响。

麦克风授权仍由用户完成。没有真实环境样本,不能把几条清晰演示音频的结果包装成客户现场准确率。

第七层:自动填表的关键,是适配原控件

“让模型生成一段 JS,直接往页面里执行”,看起来灵活,但很容易绕过原有状态、校验和权限。

我最终采用的是字段元数据+受限 JSON 协议+本地控件适配器。

扫描器优先识别当前弹窗或业务抽屉,否则识别页面中的可见表单。字段来源包括 Element UI 控件实例、表单项标签、已加载的选项,以及原生 input、select 等控件的约束。

发给模型的是临时字段 key、名称、类型、可选值和边界,加上用户本次明确提供的内容;不发送整页 DOM、表单模型对象或已有字段值。但用户主动写进指令的姓名、邮箱等仍会随这次提取请求发到云端,不能把“已有值不上传”说成“所有输入永远不出本机”。

{
  "type": "fill_form",
  "values": {
    "field_1": "体验用户A",
    "field_2": "user@example.com",
    "field_3": 1280.5
  }
}

这是协议示例,不接受任意属性路径、未知 key、提交命令或原型污染键。前端和代理都要校验字段类型、枚举、长度、数值边界和有效日期。

写入时,选择项映射回原控件的数字、字符串或对象值;文本与数字通过原控件事件进入 v-model;日期使用原控件的格式转换;完成后调用原来的整表校验。模型不直接修改任意业务对象,也不点击保存或提交。

支持的标准控件包括文本、数字、单选、多选、开关、日期及区间、日期时间、月份和年份。隐藏、只读、禁用、密码、验证码和协议确认项会跳过;富文本、上传、树形级联及未知自定义控件仍交给用户处理。

另一个容易忽略的问题是联动:先改“区域”,原页面可能自动清空后面的地址。此时不能继续把旧方案里的地址硬塞回去。实现按页面顺序写入,每步重新检查字段状态;联动已经改变的后续字段会跳过并提示。

有些页面还会在 change 回调里重建整个表单对象。它仍是同一张表单的一次合法联动,不能一律当作用户切换记录。但在等待 AI 结果期间,如果对象、页面、内容或目标已经变化,旧方案就必须拒绝。

标准 Element UI 样例表单由真实通用识别器填写。姓名、邮箱、预算均为虚构数据,日期必填校验保留,未连接保存接口。

第八层:创建流程与视觉效果,使用不同的执行边界

“帮我新增一个员工,姓名……,手机号……”比填写当前表单多了前置步骤。

本地固定流程先检查人员入口与新增权限,再读取当前账号可用的企业范围。企业唯一、名称明确或上下文已确认时继续;有歧义就先选择。确定后调用原有路由,等新增页和字典准备好,再复用通用填写器。

路由参数和创建步骤来自核对过的流程定义,不由模型自由生成。多个企业不能随便选第一家;已有草稿不能静默清空;用户手动切页或停止时,后续填写会取消。当前只是打通了一条创建示例流程,不是让模型接管后台的所有按钮。

烟花则走另一条边界:默认效果是本地 Canvas;自定义效果可以让模型返回 HTML、CSS 和 JS,但只在独立 sandbox iframe 中运行,不进入主页面执行。

iframe 不提供 allow-same-origin,配合 CSP 限制联网、外部资源和能力范围,效果限定时长并自动清理。主页面只接收与对应 iframe 和运行标识绑定的就绪、错误通知,不接受“帮我提交表单”的消息。

沙箱降低了访问主页面的风险,但不等于通用不可信程序的 CPU 资源隔离。这个演示只开放有限长度、有限时长的视觉效果,没有做任意代码执行平台。

这些工作用了多久,消耗了多少 Token?

我按本机同一个 Codex 主开发会话核对,统计范围是:2026年11月16日13:41首次明确开发助手,到11月17日11:07新增员工流程完成。

自然时间跨度约 21小时26分钟,跨两个自然日。窗口内15轮已完成任务记录的执行时长合计约 5小时50分钟,包含代码、工具运行、等待和验收,不等于纯编码工时,也不是完整的人力成本。

Token 使用累计计数的终点减基线,没有把每条累计值再次相加:

  • 输入:120,333,624 Token。
  • 其中缓存输入:118,899,712,约占输入的98.8%。
  • 输出:543,026,已经包含推理输出。
  • 输入加输出合计:120,876,650,约1.21亿。
  • 非缓存输入加输出:1,976,938,约198万。

长会话会反复携带历史、源码和工具结果,缓存输入已经包含在输入里,推理输出也已包含在输出里,不能再重复加一次。这里是开发助手所用的 Codex 会话记录,不是某个用户一次问答的成本,更不是同等数量的全价 Token 账单。

运行阶段,菜单导航、本地检索、本地语音与浏览器小模型不消耗云模型 Token,但仍消耗设备算力、内存和首次下载流量。DeepSeek 调用应以供应商 usage 和实际计费为准;演示版还没有完整的调用用量台账,因此这里不编造单次成本或总金额。

验收和下一步

当前仓库154项回归检查通过,其中包括导航、范围拦截、动作协议、企业歧义、取消和过期结果保护;这不是154条全部针对 AI 的测试。生产构建通过,保留原工程14条已有警告。

桌面实测验证了:从首页发起创建并填写、明确企业直接执行、保护已有草稿、保留原必填校验,以及生成期间手动切页后不再写入。配图中的通用表单则是独立的脱敏样例,不能拿它替代所有业务页面的验收。

接下来更值得投入的,是完善每条能力的评测集、记录真实延迟与用量、继续校准范围规则,以及为特殊控件补充适配。资料规模变大以后,再评估向量检索和知识关系层;正式部署前,则要把薄代理升级为具备身份、额度和审计的服务。

做完这一轮,我对前端 AI 助手的理解更具体了:模型擅长理解和整理,自有代码负责确定能力、检查状态、执行动作。把这几层接好,聊天框才会成为页面里真正可用的入口。

技术资料

本文由作者结合源码与运行验收整理,AI协助实现、资料整理和文字编辑。文中代码片段为脱离业务的示意,截图为真实组件上的受控演示。