GPT-4.1 mini是OpenAI的GPT-4.1系列小型号,支持文本和图片输入、文本输出,以及函数调用和结构化输出。对开发者来说,它的一个实际用途是把散落在多份文档里的信息整理成字段,交给后续程序处理。
2026年再评估这个型号,我更关心的是明确任务下的效果与成本。按2026年10月30日核对的官方定价,标准文本输入、输出单价低于较新的旗舰GPT-6 Astra,但调用便宜不等于整个流程便宜:错误识别、人工复核和重新处理同样需要投入。下面这次实验就碰到了一个很具体的问题——字段基本正确,整份结果仍不能通过验收。
我通过Crazyrouter完成了中文文档整理测试。两轮正式输出都能解析成JSON,12个任务也齐全;每轮48个核心字段中有47个正确,却在同一个任务上同时出现状态错误和数组类型错误。本文不增加新一轮调用,直接分析保存的原始结果,并给出可以离线运行的检查方法。
先把“整理文档”变成有答案的任务
如果只要求“整理一下项目资料”,很难判断一段流畅的回答是否完整。我把任务收窄成:根据多份记录,恢复指定时点的任务状态。
输入有51份合成短文档,围绕12项任务展开,包括基线、变更、讨论和历史记录。人名与项目均为虚构。每轮正式请求的输入为26,430个token,评价时点设定为2026年10月30日18:00。
每项任务需要返回七个字段:id、owner、deadline、status、acceptance、sources、conflicts。其中负责人、日期、状态和验收条件是四个核心字段,12项任务共48个检查点。
规则并不只是“选最新记录”:有效变更只能覆盖明确修改的字段;未来才生效的决定暂不应用;草案和其他批次不能覆盖当前版本。缺失的信息保留为null。两份有效决定互相冲突、又没有优先级时,要保留候选值和来源,将冲突字段留空,并把状态改为“待确认”。
在调用前,我根据这些规则准备标准答案。这样,检查的是回答与题目是否一致,而不是让模型判断自己答得好不好。
请求里的JSON模式,管不到全部业务规则
第一次接入可以先用一条已知答案的记录,确认模型标识、认证和连接配置都正确,再增加变更文档。使用兼容Chat Completions的客户端时,在连接配置中填写服务提供的Base URL和自己的API密钥;直连HTTP时使用POST方法、Bearer认证及JSON请求体。密钥由后端安全配置读取,不放进前端页面。
下面是一个最小教学请求,未实际发送,不是51份文档实验的原始输入:
{
"model": "gpt-4.1-mini",
"messages": [
{
"role": "system",
"content": "返回JSON对象,包含owner、deadline、acceptance、sources。只覆盖明确变更的字段,保留其他条件。缺失值用null,日期用YYYY-MM-DD。"
},
{
"role": "user",
"content": "A:林悦负责整理报告,2026年11月5日交付,必须附来源清单。B:已批准且已生效的变更,交付日期改为2026年11月8日,其余不变。"
}
],
"temperature": 0,
"max_tokens": 6000,
"stream": false,
"response_format": { "type": "json_object" }
}
预期应保留林悦和“附来源清单”,只把日期改成11月8日。这是由题面推导出的预期,不是已经观察到的模型回答。收到响应后,取出choices[0].message.content,检查内容非空、没有截断,再解析并核对字段。
正式实验也使用上述四个生成参数,但没有提交严格JSON Schema。字段类型与业务关系写在提示词里,随后由本地程序核验。因此,后面的类型错误不能用来证明严格Schema约束失效;本次根本没有测试那种模式。
成功的合并,发生在字段层面
T01的基线B01指定周宁负责,11月4日截止,要求保留180天审计记录。C01只把截止日期改成11月9日,C02只把负责人改成郑言,其他条件继续有效。
两轮回答都给出了郑言、2026-11-09和“保留180天审计记录”,并列出B01、C01、C02。模型在这组材料里正确合并了局部变更,没有把最后一份记录当成整项任务的替代品。
图1:我根据合成文档与第一轮原始回答排版整理的对照图,未改写模型字段,非应用截图。
这种结果适合先形成候选记录:人可以对照原文检查,也可以让程序继续核验。但它还不能说明其他类型的变更同样可靠。
真正挡住入库的是T02
T02有两份同时有效、互不撤销的决定,分别要求11月10日和11月12日交付,尚无优先级裁决。
模型找到了冲突,把deadline设为null,也保留了两个日期与来源,却仍返回status: "待办"。题目要求的状态是“待确认”。第一轮的冲突字段如下,保留原始内容:
{
"conflicts": [
["deadline", "2026-11-10", "C03", "2026-11-12", "C04"]
]
}
题目要求conflicts为字符串数组,这里却放入了数组。第二轮改变了排列方式,仍然包含嵌套数组,状态也没有改对。
图2:第一轮回答中的真实失败,左侧为规则与原始决定,右侧为实际字段。没有追加修复调用,也没有手动修正输出。
这解释了为什么只写JSON.parse()不够:它能检查语法,不能判断数组元素是否符合约定,更不知道一个有未决冲突的任务应该进入哪个状态。
用一段离线检查,把两类错误分开
下面的函数只演示T02相关的两项检查,不是完整校验器。unresolvedDeadline来自依据原始文档确认的事实,不能简单用deadline === null代替:T03也没有日期,但原因是资料未提供,并不存在两项决定相互冲突。
function checkTask(task, unresolvedDeadline) {
const issues = [];
const isStringArray = Array.isArray(task.conflicts)
&& task.conflicts.every(value => typeof value === "string");
if (!isStringArray) {
issues.push("conflicts必须是字符串数组");
}
if (unresolvedDeadline) {
if (task.deadline !== null) issues.push("未决日期冲突不能选择单一日期");
if (task.status !== "待确认") issues.push("未决冲突的状态必须为待确认");
}
return issues;
}
对两轮保存的T02调用checkTask(task, true),都会得到数组类型和状态两项错误。这里运行的是已有回答的离线回放,没有重新请求模型。它说明这两个失败可以被明确规则拦住,不代表程序已经覆盖了来源正确性、所有字段或未知业务情况。
生产应用里,未决冲突标记从哪里来,也必须设计清楚。模型可以提供候选说明,但如果标记仍完全依赖同一次回答,就不能把它当独立证据。本次实验有预先准备的标准答案,所以可以单独验证;真实文档可能需要确定性业务规则或人工复核。
发现错误后,我更倾向于把原回答和来源一起放入待复核队列。直接把状态改为“待确认”只能处理一个字段,不能替人裁决11月10日和12日究竟选哪天。本文没有测试自动修复能否成功。
字段分数和整份验收,分别回答什么
| 检查项 | 正式第一轮 | 正式第二轮 |
|---|---|---|
| JSON可解析、任务集合完整 | 通过 | 通过 |
| 核心字段正确数 | 47/48 | 47/48 |
| 来源检查通过的任务行 | 12/12 | 12/12 |
| 结构与类型通过的任务行 | 11/12 | 11/12 |
| 整份结果满足全部要求 | 否 | 否 |
字段计数帮助定位问题,整份验收决定是否允许继续处理。两者不能互相替代。来源检查通过也只表示本次要求的文档集合满足检查条件,并不自动说明所有业务关系正确。
全程共三次生成:一次三任务试跑,两次针对同一组12任务的正式请求。没有重试修复,也没有手改输出。两轮不能算成24个独立任务,更不能把47/48当作处理任意文档的通用准确率。
模型文档给出的上下文为1,047,576个token,最大输出32,768个token,知识截止于2024年6月1日。这次输入远小于上下文上限,且没有测试图片、工具执行、严格Schema或长期稳定性。
最后还有生命周期限制:官方2026年10月14日的公告将gpt-4.1-mini-2025-04-14从官方API移除的时间定为2027年1月14日。测试日的第三方渠道调用成功,不代表该渠道未来持续可用,渠道安排需要分别确认。
如果要把文档抽取接进业务系统,我会先保存一组包含局部变更、缺失值和未决冲突的回归材料。换模型时继续用同样的规则核验。模型负责生成候选数据,应用负责决定哪些结果可以继续流转;这次T02暴露的,正是两者之间需要补上的检查。