一套 11 个生产步骤、2489 个后端路由、38 张 PostgreSQL 表的 AI 内容平台,跑了大半年。复盘所有故障,和模型有关的只有 3 个。
一、现象:模型没坏,用户就是不回来
先看一组后台数据(脱敏):
- 任务成功率:96%
- 产物正常率:94%
- 日志错误数:每天 0~3 条
- 次日回访率:8%
- 注册到付费转化:1.2%
单看前三个,这套系统"运行良好"。加上后两个,就是一个漏水的桶。
一个用户的真实反馈原话:
"点了生成,进度条不动,我以为卡死了,就关了。"
而那个任务其实跑完了 —— 3 分 42 秒后产物已经落盘。用户是在第 40 秒关掉页面的。
也就是说:模型一直在正常工作,是产品在把用户赶走。
二、错误尝试:先怪模型,白花三周
按最直觉的顺序,我试了三件事。
① 换模型。 DeepSeek → 通义千问 → 本地 Qwen。用同一批 50 个剧本跑评分,平均分从 7.1 涨到 7.4。
② 改 prompt。 加结构化输出约束、加 3 条 few-shot、加 40 条负面词表。评分 7.4 → 7.9。
③ 加多轮评分重试。 一次生成 3 个候选,让模型自己打分选最高。评分 7.9 → 8.2。
代价:
| 指标 | 改之前 | 改之后 |
|---|---|---|
| 单镜成本 | ¥0.42 | ¥1.10(2.6 倍) |
| 出片时间 | 3 分钟 | 9 分钟 |
| 模型评分 | 7.1 | 8.2 |
三周,成本涨 2.6 倍,评分涨 1.1 分。用户留存:一条线,没动。
这里有个很反直觉的结论:
模型从 7 分提到 8 分,用户感受是"好像好了点"; 进度条不动 40 秒,用户直接关页面,再也不回来。
三、根因:21 个生产故障,只有 3 个和 AI 有关
把 65 个 bug 记录里真正"差点弄死项目"的 21 条捞出来分类:
| 类别 | 条数 |
|---|---|
| 并发与状态 | 5 |
| 前端与缓存 | 6 |
| 支付与账务 | 4 |
| 数据与时区 | 3 |
| 模型与算法 | 3 |
90% 的坑,跟 AI 一点关系都没有。
下面挑 8 条最致命的,每一条都带真实代码或真实命令 —— 因为这些才是把用户赶走的东西。
1. 多 worker 下全局变量不共享
生产启动命令是:
gunicorn -w 4 -b 0.0.0.0:8889 --timeout 120 app:app
进度写在一个模块级字典里:
TASKS = {} # 4 个 worker,4 份内存
@app.get("/api/progress/<tid>")
def progress(tid):
return TASKS.get(tid, {"progress": 0, "status": "running"})
任务在 worker A 里跑,轮询落到 worker B,就永远读到 progress: 0。
flask run 单进程,本地 100% 复现不出来。
修法:状态外置到 PG(一张 task_status 表)。代价:每个任务多 5~10 次 UPDATE,实测单任务 +80ms,可接受。
2. 长任务同步执行,撞反代 30 秒超时
生成一个镜头要 2~4 分钟,路由里同步 await。nginx 默认 proxy_read_timeout 60s,被压到 30s 的项目直接 504:
upstream timed out (110: Connection timed out) while reading response header
前端的表现不是"超时",是"网络错误",用户以为是自己网断了。
修法:接口立即返回 task_id,后台线程跑任务,前端 5 秒轮询一次。代价:前端多约 100 行,后端多一套任务表 + 清理逻辑。
3. 超时判定用"总时长",而不是"无输出"
if time.time() - start > 300:
kill_task() # 慢任务被误杀,产物半截
Kling 的生图接口高峰期单张要 90 秒,几次重试就超过 300 秒,任务被杀,用户看到"失败",其实再等 20 秒就成了。
修法:改成判"输出文件连续 60 秒无变化"。代价:要拿到中间产物路径,某些接口给不了,只能退化成分段。
4. 支付回调 URL 多了一段前缀
Flask 蓝图注册成 url_prefix="/pay",.env 里又写:
NOTIFY_URL=https://xxx.tech/pay/api/pay/notify
实际拼出来是 /pay/api/pay/notify,微信回调 302 到不存在的路由。支付成功,订单状态不变,用户钱扣了、积分没到。
修法:回调单独一个 blueprint、显式排除鉴权、URL 用 url_for(..., _external=True) 生成而不是手写。代价:0,纯配置。
5. 退款按总余额算,把赠送积分也退了
refund = user.credits # ❌ 含赠送
用户充 100 得 120(20 是赠送),申请退款能退 120,每单净亏 20。
修法:
base = user.credits - user.bonus_credits
if user.credits < base:
raise RefundError("余额不足")
代价:账要拆成"充值 / 赠送"两栏,历史数据要做一次迁移对账。
6. 静态资源没版本号,用户缓存 12 小时
@app.context_processor
def inject():
return {"static_url": lambda f: url_for("static", filename=f) + f"?v={STATIC_VERSION}"}
这一行不加 ?v=,你改十遍 JS 用户还是加载旧文件,还反过来骂你"改了没用"。
修法:STATIC_VERSION 每次构建自增,写进 build 脚本。代价:0。
7. 打包后函数名被压缩,window.fn 全部失效
window[fnName]() // esbuild --minify 之后 fnName 变成 a,undefined
表现是"所有按钮点了没反应",控制台一条 TypeError: window[a] is not a function。
修法:构建时 --minify 关掉、或显式 window.fnName = fnName 挂载。代价:产物体积 +18%,可接受。
8. 时区三套规则打架
- 数据库存 UTC
- JS 用浏览器本地时区格式化
- 后端模板再格式化一次
结果:同一条记录,列表页和详情页差 8 小时,用户截图来问"你们数据错乱"。
修法:全链路统一 datetime.now()(北京时间),只在算耗时的时候用 UTC 时间戳对齐。代价:一次数据迁移 + 全站 40 多处时间格式化改动。
四、代价表:修这些到底要花多少
| 问题 | 修法 | 工作量 | 性能代价 |
|---|---|---|---|
| worker 状态不共享 | 状态落 PG | 1 天 | +80ms/任务 |
| 长任务同步 | 异步 + 轮询 | 2 天 | 无 |
| 超时判定错 | 判无输出 60s | 0.5 天 | 无 |
| 回调 URL | url_for(_external=True) | 0.5 小时 | 无 |
| 退款超退 | 拆 base / bonus | 1 天(含迁移) | 无 |
| 静态缓存 | ?v= 版本号 | 0.5 小时 | 无 |
| 函数名压缩 | 关 minify | 1 小时 | +18% 体积 |
| 时区混用 | 统一北京时间 | 2 天(含迁移) | 无 |
全部加起来 7 天。而我花在"把模型从 7 分调到 8 分"上的时间是 21 天。
这就是这道题最扎心的地方:修 21 个工程问题只用 7 天,优化模型用了 21 天,而前者对留存的影响是后者的十倍。
五、可复用的判断标准
以下五条,可以直接抄走用:
① 本地对、上线不对,且两个环境只差进程数/实例数 → 先查内存状态。
模块级字典、global 变量、进程内计数器、lru_cache、内存 session,全是嫌疑犯。
② 用户说"卡住了",先看反代超时和任务表状态,不要看模型。 一条命令就能确认:
grep -E "upstream timed out" /var/log/nginx/error.log | tail -5
③ 支付类的三条铁律:回调必须幂等、必须排除鉴权、必须能对账。 少一条,出事就是真金白银,而且是对用户的钱。
④ 任何"改了不生效"的问题,先怀疑缓存,再怀疑代码。
静态资源要版本号,接口要 no-cache,CDN 要刷新。
⑤ 优化优先级:留存问题 > 阻塞问题 > 质量问题 > 模型分数。 模型分永远是最后一项。用户不会因为模型好而原谅你登录不了,但会因为产品好用而原谅模型差一点。
六、如果你正在做 AI 产品
先别急着换模型。拿一周时间,把这 21 条逐条过一遍,每条问三个问题:
- 我现在有没有这个问题?
- 我怎么测出来它有没有?
- 出问题了我能在多久内定位?
过完这一遍,产品存活率会比再优化一个月模型高得多。
完整的 21 个故障复盘(含架构、成本模型、取舍)在 GitHub: ai-drama-pipeline,日常踩坑笔记在 engineering-notes。
我做的是一人 AI 工程服务:AI 应用的全栈落地、上线后疑难故障排查(尤其是"本地好好的、上线就坏"这类)。有类似问题可以发邮件:476743538@qq.com。