先说结论:90%的人用GPT跑日常任务,是在烧钱买个心安。
我不信邪,做了个盲测。方法:
- 同一批45个任务:摘要20 + 代码10 + 改写15
-
- 便宜模型(flash系)和GPT系各跑一遍
-
- 找两个不知道来源的人分辨哪份是GPT写的
结果
| 任务类型 | 总数 | 分不出来的 | 能分出来的 |
|---|---|---|---|
| 摘要 | 20 | 18 | 2(长文摘要逻辑断层) |
| 代码 | 10 | 5 | 5(多步推理边界case) |
| 改写 | 15 | 15 | 0 |
38/45 分不出来。能分出来的7个全是复杂推理和多步代码。
成本对比(同一批任务)
| 模型 | 总成本 |
|---|---|
| 低价flash | ¥0.31 |
| flash标准 | ¥0.44 |
| v4-pro | ¥1.12 |
| gpt-6.1-sol | ¥0.89 |
差3.6倍的钱,买到的是剩下7个任务的差距。
所以最优解不是二选一,是分层
flash(便宜) → pro(中档) → GPT系(贵) 70%任务 20% 10%硬活
写成自动路由(降级链):便宜模型在前,失败/超时自动切下一档。生产环境跑了几个月,账单降一半,还顺便扛过了两次单家限流。
50行实现,Python/Node双版,MIT开源:
盲测的三个注意点(别学我第一次踩的坑)
- 样本要分层:全拿摘要测,结论会是“便宜的都行”——错的
-
- 评测者至少2人:单人盲测噪声太大
-
- 记录置信度:“不确定”单独算,不算“分不出”
下一篇写《流式输出的降级策略》。觉得有用点个赞,issue看到就回。