自然语言到大屏 JSON:拆开 AI 生成引擎的五步链路

7 阅读6分钟

自然语言到大屏 JSON 「一句话生成一块大屏」这个能力,演示视频里效果惊艳,真要工程化落地,立刻撞上一串具体问题:

  • 让 LLM 直接输出 1920×1080 的组件坐标,它算不精确,还会把面板摞到一起;
  • 同一句提示词今天生成三面板、明天生成五面板,运营没法验收;
  • 一次生成 10~30 秒,HTTP 同步等还是异步轮询?断了怎么办?

我们的大屏 AI 生成引擎(Node.js 22 + Express 5,接 DeepSeek)已在生产服务上跑通并扛过实战迭代,这篇把主链路拆开。先给结论:AI 只管语义,几何与资产由代码确定性决定——这十个字是整条链路的设计纲领。

一、链路全景:五步

从用户提示词到浏览器里的一块屏,走五步:

用户提示词
   ▼
① planner(AI 语义规划)     src/planner.mjs
   │   输出:标题/蓝图/各槽位小标题/组件选型/业务数据/布局形态
   │   ——只给面板清单与数据,不给坐标
   ▼
② assembler(确定性装配)    src/assembler.mjs
   │   layout-compiler 编译骨架几何 → 蓝图选槽位 → 实例化组件默认值 → 注入数据
   ▼
③ 质量门禁(几何/越界/重叠)  src/headless/DocumentModel.js(失败只告警)
   ▼
④ 落盘 screen.json           data/screen-<时间戳>/screen.json
   │   (持久化前删除 generationMeta/resolvedAssets 两个临时键)
   ▼
⑤ 前端轮询取完整大屏文档,导入编辑器或渲染器

全链路只有 ① 调大模型(DeepSeek deepseek-chat),②③④⑤ 全部确定性代码。

第①步是全链路唯一调大模型的地方。planner 拿到提示词后做语义规划:拆出页头大标题、中心主视觉(hero)、两侧面板清单,为每个面板选组件类型、编业务数据——它的输出里没有坐标。

第②步接手后,几何问题交给代码:layout-compiler 按 layoutForm(double-wing/left-wing/right-wing 三种布局形态)编译出骨架几何,蓝图选槽位,组件按默认尺寸落位,数据注入。组件放在哪、占多大,是确定性计算,不是模型拍脑袋。

组件选型还有一个硬约束:planner 读的是组件 catalog(ai-catalog.db,与渲染器构建产物同源派生的组件目录),选型超出白名单会被审计回退默认——模型说"这里放一个 3D 飞线地图",目录里没有这个组件,就落回目录里存在的组件。生成引擎与组件库之间还配了 sync:renderer 同步和 check:catalog 门禁,保证模型"看得见的组件清单"与渲染器"认得的组件"永远一致。

这个分工解决的就是开头第一个问题。LLM 的空间推理不可靠,让它出坐标等于把产品质量押在概率上;让它出语义清单("左侧第一个面板放能耗对比,用柱状图"),坐标由编译器算,面板重叠、越界这类事故在源头就不存在。

五步链路

二、可复现:等价变体确定性轮换

LLM 有个恼人的特性:让它在几个等价选项里挑,它永远倾向落回第一个默认值——同一句提示词生成的十块屏,柱状图占比异常地高。

planner 的对策是等价变体确定性轮换:按提示词的稳定哈希做种子,在"数据契约完全兼容"的变体组内挑成员。效果是——相同提示词结果可复现(运营验收和回归测试的前提),而不同提示词的屏幕风格又有分布上的多样性。

还有一个容易被忽略的口子:布局形态 layoutForm 的决议优先级是用户点名 > AI 语义判断 > 按面板数推定,来源三档写进生成回执可核验。用户说"左右各三个面板",就是 double-wing,AI 不再自由发挥;用户没点名才轮到 AI 判断。生成结果出了分歧,回执能告诉你当时是哪一档做的决定。

三、受理与轮询:异步 job 模式

生成耗时以秒到几十秒计,HTTP 同步等待不可行。引擎对外只暴露一个受理接口,受理即回、不等生成:

generate 受理回执:jobId、pollUrl、sessionId 这是本机服务的真实抓包:POST /api/generate 立刻返回 { jobId, status: 'queued', pollUrl, sessionId }。注意 sessionId 是服务端发牌(ai-session_<base36时间戳>_<随机>),不是客户端传的——一次对话可以含多份草稿,会话的权威编号必须由服务端统一签发,客户端只负责原样回传。

job 存内存对象,状态机 running → completed|failed,phase 走 planning → assembling → compiling → completed,progress 由 400ms 定时器从 15% 匀速模拟推进到 85%,完成置 100。前端拿 pollUrl 轮询,轮询途中每帧能看到阶段推进(本机服务真实抓包):

{
  "success": true,
  "data": {
    "jobId": "job_1794395876117",
    "status": "running",
    "phase": "assembling",
    "progress": 43,
    "sessionId": "ai-session_mwc0z385_gnr6ii"
  }
}

完成后的回执里带着完整产物:

完成回执:draftId、revision、generationMeta、完整 screen 文档 result 里值得注意的字段:draftId + revision——生成结果以草稿身份落库(SQLite 的 drafts 表),为"生成之后继续修改"预留了入口(这是下一篇的主角);generationMeta 是生成回执,layoutForm、 wings 数量、背景资产全在里面,可核验。

四、产物:一块真实生成的屏

链路走完,轮询拿到完整 screen 文档,导入编辑器或直接渲染。这是我们服务上真实生成的一块智慧园区能源大屏:

AI 生成的智慧园区能源大屏(真实服务产物) 页头大标题、中心能源流转全景(工艺流程类 hero)、左右两翼各三个面板——double-wing 布局,翻牌器、环图、趋势线、表格各就各位。从一句提示词到这块屏,中间没有一次人工拖拽。

五、工程化的三个心得

一、把 LLM 的输出面压到最小。 planner 输出的是面板清单与语义描述,不是最终文档——输出的字段越少、越结构化,幻觉的落脚点就越少。坐标、尺寸、样式这些"代码能算的东西"一个字节都不让模型出。

二、可复现是工程化的分水岭。 demo 阶段人人都在乎"效果好",工程阶段第一个问题是"能不能再来一次一样的"。哈希种子轮换这个设计让提示词成为可测试的输入,AI 生成才谈得上回归和验收。

三、异步不是优化,是生存方式。 大模型调用的耗时不稳定(网络抖动、模型限流),同步 HTTP 要么超时误判要么长期占用连接。受理即回 + 轮询的组合把不稳定性关在服务端,前端体验是确定的。

下一篇讲生成之后的事:草稿标识体系与增量修改——AI 生成的产物怎么被可寻址地改下去。

注:文中面板数值为演示数据,非客户数据;API 响应为本机服务真实抓包,敏感配置已脱敏。


体验地址:www.qiantech.com.cn/