LLM 成本优化:给任务打分选模型,批处理成本差 35 倍

38 阅读8分钟

cover.png

一个可复用的方法:把「这个任务该用哪个模型」从主观判断变成可核对的数字。

TL;DR

  • 比单价是错的,要比期望成本:单次成本 / (1 - 失败率) + 失败率 × 返工成本
  • 核心判断不是「任务难不难」,而是「出错会不会被自动发现」
  • 五个维度各打 0/1/2 分,总分落三档,边界取高档
  • 打完分再算钱:同样 500 次抽取,T1 和 T2 差 35 倍
  • 已做成开源 Agent Skill:pick-model(MIT)

一、先看一笔算错的账

有个活儿很典型:从 500 张收据的 OCR 文本里抽商户名、日期、金额、税号,输出 JSON。

单步映射、字段错了肉眼能看出来、重跑几乎零成本。这种任务我原来默认丢给 Sonnet 级别的模型,理由是「稳」。

按期望成本算一下(输入 20k / 输出 3k tokens,单价 + 失败率带来的重试期望):

档位模型单次期望成本500 次合计
T1qwen3.7-flash$0.0011$0.55
T2deepseek-v4-pro$0.0395$19.73
T2claude-sonnet-5.5$0.0714$35.71

35 倍(19.73÷19.73 ÷ 0.55 = 35.9)。而这个任务根本不需要 T2 的能力。

问题不在于我不知道「简单任务用便宜模型」。问题在于:在写下 prompt 的那一刻,没人能稳定判断这个任务到底是简单还是复杂。 凭感觉判断,结果就是为了省事永远选中间那档。

所以我把这个判断过程做成了可执行的东西。


二、为什么「单价对比」是个陷阱

大多数人选模型的方式是对比单价。这在批量场景下会系统性出错,因为便宜的模型失败一次再重跑,往往比直接用强模型更贵。

真实的成本结构:

期望成本 = 单次成本 / (1 - 失败率) + 失败率 × 返工成本

第一项是重试的几何期望(失败就重跑,一直跑到成功),第二项是人工收拾的代价。

举个具体的:一个失败率 8% 的便宜模型,每次失败要人花 5 分钟收拾。如果一天跑 2000 次:

  • 单次成本省下的:假设省 0.03→一天省0.03 → 一天省 60
  • 返工成本:2000 × 8% × 5 分钟 = 800 分钟 ≈ 13 小时人工

13 小时人工换 60 美元。 这笔账在任何团队里都是亏的。

所以真正的判断点不是难度,而是:

这个任务出错,会不会被自动发现?
  • 会被发现(有测试、有 schema 校验、有对照答案)→ 放心降档,降得越狠赚得越多
  • 不会被发现(写给人看的文档、给客户的报告、没有测试的代码)→ 不要降档,省下的钱只是把成本推迟到返工

这一条是整个方法的地基。


三、用五维打分代替「感觉一下」

让 LLM 读一遍 prompt 然后说「这个任务比较简单」,结论是不可核对的。你看到结论的第一个问题永远是「凭什么」。

把它拆成五个可指认的维度,每个 0/1/2 分:

五维打分与落档规则转存失败,建议直接上传图片文件 (五维:推理步数 / 输入规模 / 任务类型 / 容错要求 / 工具与多轮。总分 0–3 → T1,4–7 → T2,8–10 → T3)

三条边界规则

这三条比打分本身更重要,因为它们是纠偏机制:

  1. 落在 3/4 或 7/8 边界,取高档。
  2. 任一维度判断不确定(±1),整体取高档。 不确定本身就是升档信号。
  3. 容错要求 = 2 时,一票升 T3,不管其他维度多低。

第 3 条是整个设计的核心。降档失败的代价不是「多花点钱」,而是「三天后才发现要重做」。这条规则的存在意味着一部分任务会「过度配置」——但这是刻意的取舍。

三个例子

批量抽取小票字段 → 五维全 0 → T1

给投资人写行业分析(三份研报 40k 输入、对外发布)→ 推理 1 + 输入 1 + 类型 1 + 容错 2 = 5 分,本应 T2,但容错=2 触发一票升档 → T3。这里省钱是错的。

重构 2 万行 Python 模块(有测试兜底)→ 推理 2 + 输入 2 + 类型 2 + 容错 1 + 工具 1 = 8 → T3。注意容错只有 1,不是一票升档,而是分数本身够高——这两种情形要给用户不同的解释:前者是「错不起」,后者是「活儿重」。


四、输出格式:为什么必须有「降档代价」

工具类的输出最容易犯的错是给一堆分析然后不给结论。这个 skill 的输出固定五行:

T2 · 中等任务 → claude-sonnet-5.5

理由:单轮写作 + 输入约 40k,无多步推理需求,T3 属于溢价
粗估:40k / 5k ≈ $0.13/次(含 2% 重试风险)
降档代价:换 deepseek-v4-pro ≈ $0.08/次,但长文结构完整性会掉,中段容易跑题
升档门槛:若这份分析要直接给客户看(错误不可自查),升 T3

「降档代价」这一行不能省。 你问「哪个划算」,真正想知道的是「我选便宜的那个会损失什么」。没有这一行,等于没回答。

「升档门槛」必须可判断。 写「若这份分析要直接给客户看」而不是「如果要求比较高」——后者无法执行。


五、工程实现上的四个决定

1. 价目表必须外置

模型名和价格三个月变一轮。硬编码在代码里的价目表,两周后就开始一本正经地给错误答案。

所以所有模型数据都在 references/models.yaml:

models:
  - id: claude-sonnet-5.5
    name: Claude Sonnet 5.5
    vendor: Anthropic
    tier: T2
    price_in: 2.00        # USD / 1M 输入 tokens
    price_out: 10.00
    context: 1000000
    fail_rate: 0.02       # 这个模型做这类任务需要重做的概率
    tags: [写作, 代码, 长文]

2. 解析器宁可报错,也不猜

estimate.py 里的 YAML 解析器只支持一个受限子集,遇到不认识的结构直接抛异常退出。

这不是偷懒。算错的成本数字比不算更糟糕——用户会拿着一个精确到小数点后四位的错误结论去做决策。

同理,价目表超过 90 天未更新会打印警告:

⚠ 价目表已 92 天未更新,超过 90 天阈值——结论可能失真,先核对再采用。

3. 零第三方依赖

只有 python3,不装 PyYAML。原因很实际:这个工具经常跑在别人的 CI 或临时容器里,多一个依赖就多一个放弃安装的理由。

配套的 CI 会在 Python 3.9 和 3.12 上跑四类检查(前置字段、价目解析、冒烟测试、新鲜度),改价目表导致解析失败会立刻红。

4. 只给建议,不自动切模型

Skill 运行在当前会话里,无法改变自己所在的模型。假装能切换只会让用户以为省了钱而实际没有。它负责判断,切换动作交给调用方。


六、它不能做什么(重要)

一、fail_rate 是估计值,不是测量值。

内置的失败率是按经验填的(T1 约 4–8%、T2 约 2–4%、T3 约 1–1.5%)。这是整个模型里唯一的主观参数,也是影响结论最大的参数。

如果你的业务有 eval 数据集,应当用自己的结果替换它。把它当精确预测用是在骗自己——我在 README 和 CONTRIBUTING 里都写了这句话。

二、价格是刊例价,不是你的结算价。

你有折扣、有缓存价、有批处理价。内置数据是 2026-11 从几个公开价目站交叉核对的,当成起点而非事实。

三、单次任务它基本没用。

单次写篇文章,T1 和 T3 差 $0.13,不值得为此读一张卡片。这工具真正赚钱的场景是批量:500 次、5000 次调用。所以标题写的是「批处理」。


七、安装与使用

curl -fsSL https://raw.githubusercontent.com/zhangyijiang0929-tech/pick-model/main/install.sh | bash

也可以只当命令行成本计算器用:

python3 scripts/estimate.py --in 200000 --out 8000 --tier T2 --rework 2.5

输出:

配置:11 个模型 · 价目更新于 2026-11-08(0 天前)
估算:输入 200,000 / 输出 8,000 tokens · 返工成本 $2.50/次

档位  模型                        单次成本     期望成本   本档倍数
------------------------------------------------------------------
T2    deepseek-v4-pro            $0.2957      $0.3798       1.0x
T2    glm-5.3                    $0.3152      $0.4283       1.1x
T2    claude-sonnet-5.5          $0.4800      $0.5398       1.4x
T2    gemini-3.1-pro             $0.4960      $0.5863       1.5x

注意 --rework 参数:把「每次失败的人工成本」量化进去之后,便宜模型的排序会变。这正是期望成本模型的意义。


小结

这个方法真正的价值不在于公式本身,而在于它把三个模糊判断变成了可核对的东西:

  1. 难度 → 五维分数,能指回具体证据
  2. 成本 → 期望成本,含失败率与返工
  3. 风险 → 容错维度一票升档,而不是靠自觉

如果你也在跑批量任务,最有用的动作可能是先算一遍:你现在的模型档位,和这些任务真实需要的档位,差了几倍?


仓库:github.com/zhangyijian… (MIT,11 个模型内置价目,欢迎提 PR 更新价格或用真实 eval 校准失败率)

目前 0 star。相比 star,我更想听方法论上的反驳:五维是不是漏了什么?「容错=2 一票 T3」是不是太保守、反而让人多花钱?你的场景里返工成本大概什么量级?