拆大模型 10|结构化输出:让模型返回数据,而不是一段话

0 阅读11分钟

一、矛盾:模型输出自由文本,系统需要固定格式

先看一个做 AI 应用时很常见的崩溃现场:你让模型"输出 JSON,包含 name 和 score 两个字段",它回你——

好的,以下是您需要的 JSON 数据:

{ "name": "张三", "score": 92 }

希望对您有帮助!如果需要调整格式……

客套话比数据本身还长,语气还特别客气。你的 JSON 解析代码(把文本转成程序里能直接取字段的对象)一跑,当场炸了——前后那两句"人话"不是合法 JSON。

这不是模型调皮,是它的天性:模型的本职是接龙,接龙的最优解是"像人说话"(第 01 篇)。训练语料里(训练时喂给模型的那批文本),人写 JSON 时几乎都会在前后带几句解释,很少有人只丢一段纯 JSON 出来——它照着学,自然也就顺手加上。而你的工程系统需要的是另一种东西:一个可解析、可校验、可进数据库的返回值。模型说的是给人听的话,系统要的是能被程序直接接住的数据。

把模型当成一个被要求"说说这个项目"的人:只给他一张白纸,他能写满半页——背景、进度、注意事项、自己的判断混在一段里;给他一张印好格子的表——项目名、负责人、上线日期——他就只能一格一格往里填。约束不是限制表达,是把输出收进你要的格子里。想明白这一点,就知道该在什么时候画格子、画多细。

二、三层手段:从"拜托"到"物理约束"

工程上让模型输出合规 JSON,有三层手段,一层比一层硬:

第一层:prompt 描述格式(最弱)。 在提示词里写清"只输出 JSON,不要任何其他文字,格式如下……"并给一个示例(第 06 篇的 Few-shot 思路)。这层是"口头约定":模型大部分时候遵守,但没有保证——注意力稍微飘一下,解释性文字就回来了。适合先验证想法、对格式还不能太较真的场景。

第二层:JSON Mode / Schema 约束(语法层保证)。 这是质变。2026 年主流模型的 API 普遍支持传入一个 JSON Schema(一段描述 JSON 该长什么样的规则:有哪些字段、各是什么类型),模型在 token 采样阶段就被物理限制只能生成符合该语法的 token。这个机制叫受限解码(constrained decoding)——它不是让模型"更自觉",而是直接修改第 01 篇讲过的采样流程:每生成一个 token 前,先对照语法规则算出"此刻哪些 token 是合法的",把不合法的候选全部屏蔽,再在被允许的集合里采样。比如按语法此刻只允许出现一个引号,那所有不是引号的 token,概率直接归零。

这里有个关键区别:第二层保证的是语法,不是内容。它保证你拿到的百分百是合法 JSON、字段齐全、类型正确;但它不保证 score 的值是真实成绩而不是模型现编的——值是接龙接出来的,接龙就会有幻觉(第 04 篇)。这就是第三层存在的原因。

第三层:应用层校验 + 重试(语义层兜底)。 拿到 JSON 后,用校验逻辑(Python 生态常用 Pydantic)检查业务规则:分数在 0~100 之间?日期是工作日?枚举值在允许清单里?校验失败时,不要原样再问一遍,要把报错一起喂回模型:同一个提示词原封不动重发,模型大概率还照上次的样子输出;只有告诉它"哪条规则没过",它才知道该改哪里:

try:
    result = OutputModel.model_validate_json(raw)   # 应用层 schema 校验
except ValidationError as e:
    messages.append({"role": "user",
                     "content": f"你的输出校验失败:{e}\n请修正后重新输出,只输出 JSON。"})
    raw = call_model(messages)                       # 报错回填,让模型自我修正

这个"失败后把报错喂回去重试"的模式你是否眼熟?没错,它和第 07 篇 Function Calling 的失败处理是同一个思想:报错信息本身就是最高质量的修复上下文。工具调用失败喂报错让它改参数,格式校验失败喂报错让它改输出——同一个配方。

三层讲完,放在一起看力度差异:

mermaid diagram

三、语法合法 ≠ 语义正确:校验永远不能省

很多人在这里栽跟头:上了 Schema 约束之后觉得万事大吉,把应用层校验删了。看一组对比:

层面检查什么例子谁负责
语法合法是不是合法 JSON、字段齐不齐、类型对不对score 是数字而不是字符串Schema 约束(第二层)已保证
语义正确值本身对不对、合不合理score: 92 是不是真实成绩,还是幻觉只能靠应用层校验 + 业务兜底

第二层把语法问题从"偶尔发生"压到"几乎为零",但语义问题它一个也没管:字段名对了,值可能是编的;枚举值合法,但选的是错误的那个;日期格式完美,但日期本身是模型猜的。约束解码管"说人话",不管"说真话"。 所以生产系统的铁律是:模型输出永远视为不可信输入,校验永远不能省——这和后端不信任前端传参、必做一遍校验,是同一个道理。

顺带一提,校验规则里最管用的一条是枚举约束:凡是能收敛成有限选项的字段(分类标签、状态码、风险等级),绝不让模型自由发挥字符串。让它从你给的清单里选,比让它自由生成再事后纠正,可靠性高一个量级。

四、流式场景:半成品 JSON 怎么办

还有一个容易忽略的问题:流式输出。第 01 篇讲过,模型的回答是逐 token 推送的,不等整段生成完就先往外吐——用"看到的不全"换"等待变短",第一个字是早点出现了,你手里却随时只有半截内容。这对结构化输出尤其致命:流式给你的是半成品——{"name": "张三 这种前缀,怎么解析都是非法 JSON。

处理思路有三种,按场景选:

  1. 缓冲等完:对结构化输出放弃边收边处理,攒全了再解析。最简单,代价是结果要多等一会儿——大多数内部系统该选这个;
  2. 增量解析器:用支持"不完整 JSON"的解析库,把已到达的部分解析成"截至目前的字段",适合前端边渲染边展示的场景(比如逐字段填表格);
  3. 改用分段格式:如果业务允许,让模型按行输出(每行一个独立 JSON 对象,即 JSON Lines),每行到达即可独立解析——流式友好,代价是表达能力受限。

选择的关键判断只有一个:你是要"展示"它的半成品,还是要"消费"它的最终结果? 展示可以增量,消费必须等全量校验完。

五、四样本事齐了,编排还在你手里

让模型干活的本事有四样:把 prompt 写好,等于给它写程序(第 06 篇);Function Calling 让它能开口要工具(第 07 篇);RAG 给它配一个资料库(第 08 篇);结构化输出规定它交回来的东西长什么样。到这一篇,四样凑齐了。

但它们有个共同前提:每一步用哪一样,得由你的代码说了算——先检索还是先调用工具、失败了重不重试、什么时候算做完,这些顺序都是你写死的。要让模型自己决定"下一步用哪一样、用到什么时候算完",那是 Agent 循环的事,留给《拆Agent》去拆。

下一篇换个方式:用 12 个问题,把这一路的结论各压成一句能说出口的话。


小结

  • 矛盾:模型的本职是接龙,"像人说话"才是它的最优解;工程系统要的却是可解析、可校验、可进数据库的返回值——约束不是限制表达,是把输出收进你要的格子里
  • 三层手段逐级加强:prompt 描述格式(靠自觉,最弱)→ JSON Mode / Schema 约束(受限解码在采样时屏蔽非法 token,语法层保证)→ 应用层校验重试(业务兜底)
  • 受限解码的原理:每生成一个 token 前按语法规则屏蔽非法候选再采样,它修改的是第 01 篇的采样流程本身
  • 语法合法 ≠ 语义正确:Schema 保证格式与字段,不保证值的真实性;生产铁律是模型输出永远视为不可信输入,校验不能省
  • 校验失败的处理与第 07 篇同源:把报错喂回模型让它自我修正;流式场景下半成品 JSON 要区分"展示可增量、消费必等全量"
  • 四样本事的共同前提:prompt、工具、资料库、输出格式都由应用代码排顺序并逐次调用;让模型自己决定先后,才是 Agent 循环要解决的问题

思考题

  1. 用 Schema 约束让模型输出 {"risk_level": "低/中/高"} 的枚举字段,语法 100% 合规,但业务方反馈"高风险合同总被标成中风险"。格式问题已经物理消灭了,这个错误从哪来?你能在不换模型的前提下做哪几层改进?(提示:想想第二层约束管什么、不管什么;枚举选错是语法错误还是语义错误,语义错误的解法一半在第 06 篇的 prompt 写法,一半在第三节的应用层校验。)
  2. 你在做一个流式的"逐条提取要点"功能,模型每生成一条要点前端就要实时渲染一行。第 01 篇说流式给的是增量 token,第四节又说半成品 JSON 不可解析——用什么输出格式和解析策略能同时满足"实时"和"合法"?(提示:第四节列了三种思路,哪一种是为这个场景量身定做的?)

高频面试题

Q1:让大模型稳定输出结构化 JSON 有哪些手段?按可靠性排序。

A:三层,可靠性递增,生产上后两层叠着用。

  • 第一层:prompt 描述格式 + few-shot 示例。靠模型自觉遵守,没有硬保证,只够用来验证想法。
  • 第二层:JSON Mode / Schema 约束。通过受限解码,在采样时把违反语法的候选屏蔽掉,语法层面保证输出合法。2026 年主流模型 API 已普遍支持。
  • 第三层:应用层 schema 校验 + 失败重试。用 Pydantic 之类做业务校验,失败就把报错回填上下文,让模型自己改。
  • 怎么叠:第二层消灭语法错误,第三层兜住语义和业务规则。

Q2:什么是受限解码(constrained decoding)?它保证了什么、不保证什么?

A:受限解码 = 把 JSON Schema 编译成语法约束,作用在采样阶段。

  • 怎么做:每生成一个 token 之前,先算出当前语法状态下哪些 token 是合法的,把非法候选的概率置零,再在合法集合里采样(采样机制还是 temperature/top-p 那一套,见第 01 篇)。
  • 它保证什么:语法层面 100% 符合 Schema——是合法 JSON、字段齐全、类型正确。
  • 它不保证什么:语义正确。字段值照样可能是编的,业务校验不能省。
  • 一句话边界:语法合法 ≠ 语义正确。

Q3:为什么 Schema 约束之后应用层校验仍然不能省?

A:因为 Schema 约束只管"形式",不管"内容"。

  • 它管得到的:JSON 是否合法、字段在不在、类型对不对、枚举值是否在清单内。
  • 它管不到的:数值是否落在业务合理区间、日期是不是有效工作日、字段之间逻辑是否自洽、值本身是真的还是编的。模型生成值的本质仍是接龙,约束不改变接龙的随机性。
  • 正确姿势:把模型输出当成不可信的外部输入。应用层必须做业务校验,失败就把校验报错回填模型重试;不能把错误悄悄吞掉、当成正常结果交给下游。

Q4:流式输出场景下如何处理结构化输出?

A:流式推的是增量 token,任意时刻手里拿到的都可能是半截 JSON,直接解析会失败。三种应对:

  • 缓冲等完:攒齐了再解析校验,最简单可靠,适合只关心最终结果的系统。
  • 增量解析:用支持不完整 JSON 的解析库,把已经到手的字段实时交给前端渲染,适合边生成边展示。
  • 分段格式:让模型按 JSON Lines 这类逐行结构输出,每行独立完整,到达即可解析。
  • 原则:展示可以增量,最终消费(入库、调用下游)必须等全量收完并通过校验再执行。

系列导航:上一篇 09《RAG vs 微调 vs 长上下文》 → 下一篇 11《大模型面试拷问》:12 个高频问题的答法