AI 产品死在第二十个问题上,不是死在模型上

13 阅读7分钟

一套 11 个生产步骤、2489 个后端路由、38 张 PostgreSQL 表的 AI 内容平台,跑了大半年。复盘所有故障,和模型有关的只有 3 个。


一、现象:模型没坏,用户就是不回来

先看一组后台数据(脱敏):

  • 任务成功率:96%
  • 产物正常率:94%
  • 日志错误数:每天 0~3 条
  • 次日回访率:8%
  • 注册到付费转化:1.2%

单看前三个,这套系统"运行良好"。加上后两个,就是一个漏水的桶。

一个用户的真实反馈原话:

"点了生成,进度条不动,我以为卡死了,就关了。"

而那个任务其实跑完了 —— 3 分 42 秒后产物已经落盘。用户是在第 40 秒关掉页面的。

也就是说:模型一直在正常工作,是产品在把用户赶走。


二、错误尝试:先怪模型,白花三周

按最直觉的顺序,我试了三件事。

① 换模型。 DeepSeek → 通义千问 → 本地 Qwen。用同一批 50 个剧本跑评分,平均分从 7.1 涨到 7.4。

② 改 prompt。 加结构化输出约束、加 3 条 few-shot、加 40 条负面词表。评分 7.4 → 7.9。

③ 加多轮评分重试。 一次生成 3 个候选,让模型自己打分选最高。评分 7.9 → 8.2。

代价:

指标改之前改之后
单镜成本¥0.42¥1.10(2.6 倍)
出片时间3 分钟9 分钟
模型评分7.18.2

三周,成本涨 2.6 倍,评分涨 1.1 分。用户留存:一条线,没动。

这里有个很反直觉的结论:

模型从 7 分提到 8 分,用户感受是"好像好了点"; 进度条不动 40 秒,用户直接关页面,再也不回来。


三、根因:21 个生产故障,只有 3 个和 AI 有关

把 65 个 bug 记录里真正"差点弄死项目"的 21 条捞出来分类:

类别条数
并发与状态5
前端与缓存6
支付与账务4
数据与时区3
模型与算法3

90% 的坑,跟 AI 一点关系都没有。

下面挑 8 条最致命的,每一条都带真实代码或真实命令 —— 因为这些才是把用户赶走的东西。

1. 多 worker 下全局变量不共享

生产启动命令是:

gunicorn -w 4 -b 0.0.0.0:8889 --timeout 120 app:app

进度写在一个模块级字典里:

TASKS = {}                       # 4 个 worker,4 份内存

@app.get("/api/progress/<tid>")
def progress(tid):
    return TASKS.get(tid, {"progress": 0, "status": "running"})

任务在 worker A 里跑,轮询落到 worker B,就永远读到 progress: 0。 flask run 单进程,本地 100% 复现不出来。

修法:状态外置到 PG(一张 task_status 表)。代价:每个任务多 5~10 次 UPDATE,实测单任务 +80ms,可接受。

2. 长任务同步执行,撞反代 30 秒超时

生成一个镜头要 2~4 分钟,路由里同步 await。nginx 默认 proxy_read_timeout 60s,被压到 30s 的项目直接 504:

upstream timed out (110: Connection timed out) while reading response header

前端的表现不是"超时",是"网络错误",用户以为是自己网断了。

修法:接口立即返回 task_id,后台线程跑任务,前端 5 秒轮询一次。代价:前端多约 100 行,后端多一套任务表 + 清理逻辑。

3. 超时判定用"总时长",而不是"无输出"

if time.time() - start > 300:
    kill_task()          # 慢任务被误杀,产物半截

Kling 的生图接口高峰期单张要 90 秒,几次重试就超过 300 秒,任务被杀,用户看到"失败",其实再等 20 秒就成了。

修法:改成判"输出文件连续 60 秒无变化"。代价:要拿到中间产物路径,某些接口给不了,只能退化成分段。

4. 支付回调 URL 多了一段前缀

Flask 蓝图注册成 url_prefix="/pay",.env 里又写:

NOTIFY_URL=https://xxx.tech/pay/api/pay/notify

实际拼出来是 /pay/api/pay/notify,微信回调 302 到不存在的路由。支付成功,订单状态不变,用户钱扣了、积分没到。

修法:回调单独一个 blueprint、显式排除鉴权、URL 用 url_for(..., _external=True) 生成而不是手写。代价:0,纯配置。

5. 退款按总余额算,把赠送积分也退了

refund = user.credits          # ❌ 含赠送

用户充 100 得 120(20 是赠送),申请退款能退 120,每单净亏 20。

修法:

base = user.credits - user.bonus_credits
if user.credits < base:
    raise RefundError("余额不足")

代价:账要拆成"充值 / 赠送"两栏,历史数据要做一次迁移对账。

6. 静态资源没版本号,用户缓存 12 小时

@app.context_processor
def inject():
    return {"static_url": lambda f: url_for("static", filename=f) + f"?v={STATIC_VERSION}"}

这一行不加 ?v=,你改十遍 JS 用户还是加载旧文件,还反过来骂你"改了没用"。

修法:STATIC_VERSION 每次构建自增,写进 build 脚本。代价:0。

7. 打包后函数名被压缩,window.fn 全部失效

window[fnName]()      // esbuild --minify 之后 fnName 变成 a,undefined

表现是"所有按钮点了没反应",控制台一条 TypeError: window[a] is not a function。

修法:构建时 --minify 关掉、或显式 window.fnName = fnName 挂载。代价:产物体积 +18%,可接受。

8. 时区三套规则打架

  • 数据库存 UTC
  • JS 用浏览器本地时区格式化
  • 后端模板再格式化一次

结果:同一条记录,列表页和详情页差 8 小时,用户截图来问"你们数据错乱"。

修法:全链路统一 datetime.now()(北京时间),只在算耗时的时候用 UTC 时间戳对齐。代价:一次数据迁移 + 全站 40 多处时间格式化改动。


四、代价表:修这些到底要花多少

问题修法工作量性能代价
worker 状态不共享状态落 PG1 天+80ms/任务
长任务同步异步 + 轮询2 天无
超时判定错判无输出 60s0.5 天无
回调 URLurl_for(_external=True)0.5 小时无
退款超退拆 base / bonus1 天(含迁移)无
静态缓存?v= 版本号0.5 小时无
函数名压缩关 minify1 小时+18% 体积
时区混用统一北京时间2 天(含迁移)无

全部加起来 7 天。而我花在"把模型从 7 分调到 8 分"上的时间是 21 天。

这就是这道题最扎心的地方:修 21 个工程问题只用 7 天,优化模型用了 21 天,而前者对留存的影响是后者的十倍。


五、可复用的判断标准

以下五条,可以直接抄走用:

① 本地对、上线不对,且两个环境只差进程数/实例数 → 先查内存状态。 模块级字典、global 变量、进程内计数器、lru_cache、内存 session,全是嫌疑犯。

② 用户说"卡住了",先看反代超时和任务表状态,不要看模型。 一条命令就能确认:

grep -E "upstream timed out" /var/log/nginx/error.log | tail -5

③ 支付类的三条铁律:回调必须幂等、必须排除鉴权、必须能对账。 少一条,出事就是真金白银,而且是对用户的钱。

④ 任何"改了不生效"的问题,先怀疑缓存,再怀疑代码。 静态资源要版本号,接口要 no-cache,CDN 要刷新。

⑤ 优化优先级:留存问题 > 阻塞问题 > 质量问题 > 模型分数。 模型分永远是最后一项。用户不会因为模型好而原谅你登录不了,但会因为产品好用而原谅模型差一点。


六、如果你正在做 AI 产品

先别急着换模型。拿一周时间,把这 21 条逐条过一遍,每条问三个问题:

  • 我现在有没有这个问题?
  • 我怎么测出来它有没有?
  • 出问题了我能在多久内定位?

过完这一遍,产品存活率会比再优化一个月模型高得多。

完整的 21 个故障复盘(含架构、成本模型、取舍)在 GitHub: ai-drama-pipeline,日常踩坑笔记在 engineering-notes。

我做的是一人 AI 工程服务:AI 应用的全栈落地、上线后疑难故障排查(尤其是"本地好好的、上线就坏"这类)。有类似问题可以发邮件:476743538@qq.com。