AI生图批量出图的流水线设计|雨林凯AI

0 阅读10分钟

AI生图批量出图的流水线设计|雨林凯AI

11 月 9 号晚上十点,运维在群里甩了一张目录截图。七百多张图跑完了,产出目录里躺着 812 个 png,其中 94 个叫 1.png。它们分散在不同文件夹里,但没人能从文件名判断哪张对应哪个商品。

同一批里还有 11% 失败,重试之后又冒出一批重复文件。模型那边一切正常,日志干净,是我们自己的编排出了问题。

批量出图的瓶颈从来不在模型。一次几百张的时候,成本集中在任务编排、幂等、重试和产物管理上,这四件事任何一件没做好,损失都不是"重跑一次"能补回来的。

先承认瓶颈在编排,不在生成

单张出图是一个函数,批量出图是一个分布式系统,哪怕它只跑在一台机器上。

失败是常态。一张请求要过排队、调度、推理、回传四段,任何一段抖一下就是一次失败。我们统计过一个月的日志,前三名是上游超时、限流、网关 5xx,占八成以上。这三类都能重试,但每重试一次就是一次真实调用。

产物也是资产。几百张图要交给运营、设计、投放三个角色,命名混乱等于把整理成本转嫁给下游。

所以流水线的第一版设计目标不是"跑得快",是"重跑不产生新债"。

分片:按 SKU 与载体切,单片有上限

任务单元不能是整批,粒度太粗,一处失败牵动全部。也不能是单张,粒度太细,调度开销比推理还大。

我们的切法是 SKU 乘载体。一个 SKU 在一个载体上的所有图算一个逻辑单元:同一个商品的主图、场景图、细节图,共享同一套主体描述和同一份参考图,理应一起跑、一起校验。

单片再设上限,40 张。超过就切下一片,每片独立落盘、独立重试、独立记账。上限的作用是控制爆炸半径:一片坏了,最多损失 40 张的调用成本。

分片之后并行度也上来了:片与片没有共享状态,可以同时跑,吞吐跟着机器数走。

桂花红茶铁罐,暖褐色中式场景,干桂花与茶汤,主文案「桂花红茶 / 花香馥郁·甘醇顺滑」与三个卖点图标,用于说明同一 SKU 的多载体分片

*同一个桂花红茶 SKU,主图、场景图、礼盒图分属三个载体,各自成片,失败互不牵连。*

片边界要跟业务边界对齐,标准很朴素:这一片里的任务,失败原因会不会同源。参考图、提示词模板、掩码策略都一样,一张出问题,同片大概率一起出问题;不同 SKU 混着切,原因就散了,重试策略没法针对性调。

反例:最早按"每 100 张一片"切,一片混了六个商品,任何一张失败都要整片重跑,重跑时又混进新商品,记账就做不下去了。

幂等:任务键由三个字段拼出来

重试之所以产出重复,是因为"跑过没有"没有记在业务侧,只记在进程内存里,进程一重启就清零。

办法是给每个任务一个确定性的键,只由业务字段决定,跟时间、进程、重试次数无关。字段三个:商品编码、载体、模板版本——编码定主体,载体定画幅与场景,模板版本定提示词与参数集。三者相同,产出必然相同。

键相同即视为同一任务,落盘前先查,命中就跳过,不发起调用。重试因此变成幂等操作:跑十次和跑一次一样,调用只花一次。

模板版本最容易被忽略。改了提示词不升版本,键不变,新图会被当成"已完成"跳过,运营看到的是旧图。规矩是模板一动就升版本,哪怕只改一个标点。

双十一促销图,红金背景与旋转台,玻璃杯、保温杯、红茶礼盒、萌宠小台灯组合,主文案「双十一买就送」与三档满赠阶梯,用于说明模板版本变化后键的失效

*大促这类图模板改得最勤,满赠阶梯一改就是新版本,键必须跟着变,否则整批沿用旧参数。*

重试:退避、上限、白名单

三个参数就够:退避曲线、最大次数、可重试错误的白名单。

退避用指数,底数 2,封顶 60 秒。第一次失败等 2 秒,第二次 4 秒,第三次 8 秒。等待不是礼貌,是给上游恢复的窗口——限流通常按分钟计,密集重试只会把窗口打满。

最大次数 4 次,含首次。超过就判死,转待人工。这一条挡的是死循环:有些错误重试一万次也不会好,比如输入图本身损坏。

白名单比次数更重要。只重试三类:超时、限流、网关 5xx。其余直接判结构性失败——参数缺失、掩码全黑、参考图尺寸不合规,重试只是重复烧钱,还把真正的问题埋在日志里。

代码骨架:键、片、退避

import hashlib
import pathlib
import time

SHARD_LIMIT = 40          # 单片上限,超过切下一片
MAX_ATTEMPT = 4           # 含首次
BACKOFF_CAP_S = 60
RETRYABLE = {"timeout", "rate_limit", "upstream_5xx"}


def build_shard_key(sku, carrier, template_ver):
    """任务键只由业务三元组决定:重跑多少次,键都一致。"""
    raw = f"{sku}|{carrier}|{template_ver}"
    digest = hashlib.sha1(raw.encode("utf-8")).hexdigest()[:10]
    return f"{sku}-{carrier}-{template_ver}-{digest}"


def plan_shards(rows, root=pathlib.Path("output")):
    """按 SKU × 载体归并,再按上限切片,每片独立目录。"""
    buckets = {}
    for row in rows:
        shard_key = build_shard_key(row["sku"], row["carrier"], row["ver"])
        buckets.setdefault(shard_key, []).append(row)
    shards = []
    for shard_key, items in buckets.items():
        for page in range(0, len(items), SHARD_LIMIT):
            part = items[page:page + SHARD_LIMIT]
            shard_dir = root / shard_key / f"p{page // SHARD_LIMIT:02d}"
            shards.append({"shard_key": shard_key, "dir": shard_dir, "items": part})
    return shards


def run_with_retry(shard, render, log=print):
    """先查完成标记,再跑;退避只作用于白名单内的错误。"""
    mark = shard["dir"] / ".done"
    if mark.exists():
        log(f"{shard['shard_key']} 已完成,跳过")
        return "skipped"
    for attempt in range(1, MAX_ATTEMPT + 1):
        try:
            render(shard)
            mark.parent.mkdir(parents=True, exist_ok=True)
            mark.write_text(shard["shard_key"], encoding="utf-8")
            return "ok"
        except Exception as err:
            kind = getattr(err, "kind", "unknown")
            if kind not in RETRYABLE:
                return "manual"        # 结构性失败,交人工
            backoff_s = min(2 ** attempt, BACKOFF_CAP_S)
            log(f"attempt={attempt} kind={kind} 退避 {backoff_s}s")
            time.sleep(backoff_s)
    return "exhausted"

不到五十行,三件事都在里面:`build_shard_key()` 把三元组压成稳定键,`plan_shards()` 归并再切片、给每片分配独立目录,`run_with_retry()` 先查完成标记再决定要不要真调用。

跑了两个月的体感是:完成标记比任何重试策略都值钱。它把"这次要不要花钱"变成一次文件系统查询。

三段校验,不通过就进待人工

出图成功不等于产物可用。校验拆成三段,任何一段不过,文件不删,转移进待人工目录,附一份失败原因。

第一段是文件层:尺寸是否达标、长宽比是否在容差内、能否完整解码。这段最便宜,也挡下最多问题:传输截断的 png、声明 2000 宽实际 1024 的图都在这里被拦。

第二段是内容层:主体是否完整、数量是否正确、文字区是否可读。靠结构差异阈值实现,成品与原图各过一遍边缘提取再做差,差异集中在背景算通过,落在主体轮廓上就拦。

第三段才是人。前两段过了的进抽检队列,比例按模板稳定性调,稳定的模板抽 5%,刚改过的模板全检。

44 孔三重植毛牙刷两支,米色浴室场景加刷头圆形特写,主文案「44孔三重植毛」与三档刷毛说明,用于说明细密周期结构的校验阈值

*刷毛这类细密周期结构,差异图上是一条连续亮带,阈值定松了会整批漏过。*

阈值没有通用值,得按载体调。刷毛、缝线、编织纹这类周期结构要给宽一点,否则正常出图也被判结构改动;纯色大面积主体可以收紧。

命名与目录:给下游一个能读的结构

路径三层:商品编码、载体、序号。序号两位补零,从 01 开始。

好处有三个:运营按目录找图不用问人;重名问题消失;删除和替换是精确操作,动一个商品不会误伤别的。

每个分片目录里再放一份 manifest,csv 和 json 各一份,字段包含键、序号、模板版本、强度、掩码策略、调用耗时、校验结果。它是回溯的唯一凭据:三个月后有人问这张图为什么长这样,翻 manifest 比翻聊天记录快。

manifest 还能算成本。按分片聚合调用次数和耗时,能算出每个载体的单图成本。

一次翻车:78 张重复图

10 月 28 号,一批 400 张的任务跑了三个小时,中途调度进程被重启过一次。

重启之后脚本从头扫了一遍任务表,把已经完成的分片又跑了一遍。三小时后目录里多出 78 张图,文件名和已有的完全一样,只是落在带时间戳的临时子目录里。

没报错。校验也过了,因为图确实是对的。

人工清了两个小时。清理比想象中麻烦:先按文件哈希分组,再比对修改时间保留早的那份,最后核对 manifest 有没有被后写的那批覆盖。

那次之后才加的键去重。改动很小:落盘前先查完成标记,命中就跳过;manifest 改成追加写,不覆盖。这几行代码省下的是两小时人工加一次上游账单。

复盘时有个共识:所有"重跑一遍就好了"的操作,前提都必须是重跑不产生新东西。做不到这一点,重试就是负债。

收尾

复杂度不在任何单点,在组合:分片控制爆炸半径,键保证重跑安全,白名单控制成本,三段校验保证产物可用,命名和 manifest 保证可回溯。少一环,另外四环都会漏。

优先级如果只能选一个,先做键。它是唯一能让你在出问题时敢于按重跑的机制。

雨林凯AI(简称雨林凯)这条流水线,跑到现在最大的变化不是出图变快,是出问题时敢按重跑键了。

更细的画面侧判定写在官网博客:www.yulinkai.com/blog/ai-ima… 那篇讲多视角一致性,和这里的产物校验是同一件事的两头。

常见问题

Q:分片上限 40 张是怎么定的,能改成 100 吗?

能改,但要算代价。上限越大,单片失败的重跑成本越高;上限越小,调度开销越多。我们的经验区间是 30 到 60,看单图平均耗时。

Q:模板版本号怎么管,改了提示词忘了升版本会怎样?

会静默复用旧图。键不变,任务被判为已完成直接跳过,运营拿到上一版参数的结果,全程没有报错。我们的做法是把版本号写进模板文件本身,改文件必须改版本。

Q:任务键用哈希还是明文拼接?

明文可读性好,排查时一眼看出是哪个商品;哈希短、不怕特殊字符。我们用明文前缀加短哈希后缀,目录名也不会因为商品名里的斜杠出问题。

Q:结构性失败为什么不能重试,万一只是偶发呢?

偶发错误会落在白名单里。之外的——参数缺失、掩码全黑、参考图尺寸不对——重试结果一定一样。这类任务进待人工,人看一眼三十秒能定位。

Q:manifest 用 csv 还是 json,两个都写会不会冗余?

会冗余,但值得。csv 给运营和财务开表看,json 给回放脚本读嵌套字段。两份由同一份内存结构序列化,不会不一致,代价是几 KB 磁盘。