盲测了45个任务,GPT和便宜模型的输出我分不出来 — 直到我看了这7个

0 阅读1分钟

先说结论:90%的人用GPT跑日常任务,是在烧钱买个心安。

我不信邪,做了个盲测。方法:

  • 同一批45个任务:摘要20 + 代码10 + 改写15
    • 便宜模型(flash系)和GPT系各跑一遍
    • 找两个不知道来源的人分辨哪份是GPT写的

结果

任务类型总数分不出来的能分出来的
摘要20182(长文摘要逻辑断层)
代码1055(多步推理边界case)
改写15150

38/45 分不出来。能分出来的7个全是复杂推理和多步代码。

成本对比(同一批任务)

模型总成本
低价flash¥0.31
flash标准¥0.44
v4-pro¥1.12
gpt-6.1-sol¥0.89

差3.6倍的钱,买到的是剩下7个任务的差距。

所以最优解不是二选一,是分层

flash(便宜) → pro(中档) → GPT系(贵) 70%任务 20% 10%硬活

写成自动路由(降级链):便宜模型在前,失败/超时自动切下一档。生产环境跑了几个月,账单降一半,还顺便扛过了两次单家限流。

50行实现,Python/Node双版,MIT开源:

github.com/chenduoshen…

盲测的三个注意点(别学我第一次踩的坑)

  1. 样本要分层:全拿摘要测,结论会是“便宜的都行”——错的
    1. 评测者至少2人:单人盲测噪声太大
    1. 记录置信度:“不确定”单独算,不算“分不出”

下一篇写《流式输出的降级策略》。觉得有用点个赞,issue看到就回。