大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本

0 阅读5分钟

编者按: 最近圈子里总有个声音,说现在大模型的 API 定价根本不可持续,全靠风投在背后烧钱补贴,等哪天资本撤了,价格马上就得暴涨。但事实真的如此吗?Token 的真实成本,到底有没有被严重低估?

我们今天为大家带来的文章,作者的观点是:当前按 Token 计费的 API 价格其实相当准确地反映了其背后的底层运行成本,真正的“补贴”更多是发生在面向个人的订阅套餐上,而非 API 调用本身。

为了验证这个判断,作者没停留在理论层面,而是拿 Kimi K3 做了个具体的拆解。他先是横向对比了 OpenRouter 上十几家供应商的 API 报价,接着又算了一笔“自托管”的账——从购买 8 张 GB300 GPU 的 55 万美元硬件成本,到机房托管、电费带宽,再到每月的 Token 吞吐量。算下来,只要产能跑满,自建服务器的运行成本其实明显低于服务商的收费。当然,这里我得补充一句,作者自己也坦言,这个粗略的分析忽略了高达数亿美元的模型训练成本,这部分确实算是投资者在承担。但无论如何,他通过这笔账把一个核心逻辑讲透了,这也是我想反复强调的:激烈的市场竞争确实在把价格往下压,但从底层算力成本来看,API 定价依然留有可观的利润空间,并没有大家想象的那么“赔本赚吆喝”。

作者 | Hadley Wickham

编译 | 岳扬

我经常听到一种质疑的声音,认为 AI token 的定价根本不可持续,那些前沿实验室是在拿 VC 的钱替我们大幅贴补。先低价让人上瘾,等哪天想狠狠赚一笔了,随时可以撤走补贴。真是这样吗?我的感觉是,大体上不是。但我能用一些数据来支撑这个判断吗?这篇文章要做的就是这件事。

image.png

现在有很多开放模型(open models)可用,但在这里我想重点谈谈 Kimi K3。过去几个月我一直在大量使用它,有趣的是,即使在 Opus 5.5 发布之后,我依然继续使用它。体感上 Opus 5.5 确实比 Kimi K3 聪明一点,可到头来我还是更愿意回到 Kimi K3——图的就是划算。这个话题我想留到以后单独写一篇,因为它正好牵出 Posit Assistant[1] 里我最喜欢的功能之一:cost display。这是一个强大的工具,可以帮助你建立一种直觉——模型的钱花在了哪里,以及某个特定任务大概应该花多少钱。

image.png

Posit Assistant 的聊天框显示了当前对话的累计费用(34K tokens,$0.94),旁边的模型选择器设为 Kimi K3。

因此,Kimi K3 可以作为一个“扎实的顶尖模型”的合理代表:也许它没那么强,但已经非常接近了。那它的成本是多少呢?

01 OpenRouter 上的报价

因为是开放模型,Kimi K3 在好几家供应商那儿都买得到。下面是 OpenRouter 当前的定价。我加了一个 blended 列,采用的是智能体编程(agentic coding)场景下的典型比例:输入输出比为 20:1,且 95% 的输入来自缓存。后面我们在对比 API 调用和自建部署的成本时会用到这个数据。

#>  Provider       Input /M Output /M Cache /M Blended /M

#>  Wafer          0.28     9.60      0.13     0.59      

#>  Sail Research  0.22     10.72     0.11     0.62      

#>  Relace         0.21     9.33      0.21     0.64      

#>  Makora         0.36     12.00     0.12     0.70      

#>  Chutes         1.85     9.50      0.18     0.71      

#>  Decart         1.95     9.75      0.20     0.73      

#>  ParetoAlpha    1.00     11.25     0.23     0.79      

#>  Fireworks      2.10     10.50     0.21     0.79      

#>  Phala          2.55     12.75     0.26     0.96      

#>  DigitalOcean   2.55     12.95     0.26     0.97      

#>  InferenceNet   0.23     16.50     0.20     0.97      

#>  Morph          1.42     12.00     0.40     1.00      

#>  DeepInfra      2.85     14.25     0.28     1.07      

#>  Amazon Bedrock 3.00     15.00     0.30     1.13      

#>  Parasail       3.00     15.00     0.30     1.13      

#>  Modal          3.00     15.00     0.30     1.13      

#>  Together       3.00     15.00     0.30     1.13      

#>  BaseTen        3.00     15.00     0.30     1.13      

#>  Moonshot AI    3.00     15.00     0.30     1.13      

#>  Alibaba        3.45     17.25     0.34     1.30     

#>  AkashML        1.20     14.00     1.20     1.81

你会注意到这里有很多选择!而且我敢打赌,大多数购买决策都是由价格驱动的,这意味着这些供应商在价格上面临着巨大的竞争压力。

有什么能阻止各种补贴把价格压低到不可持续的地步呢?这么说吧,我猜最便宜的那几家供应商确实在烧风投的钱来拉拢客户。但与此同时,处于价格高位区间的也有六家供应商,它们的报价基本都在同一水平。其中一家是 BaseTen[2],我们正与他们合作,为 Posit AI Pass[3] 提供模型服务。这家的服务质量我敢以个人名义打包票:虽然不是最便宜的,但我们的合作体验非常棒。

以上是直接“买现成”的 Kimi K3。那如果我们尝试自己部署托管呢?

02 自托管的成本

本地部署大模型这方面我不是行家,所以拉了 Claude 一起算这笔账[4]。写的时候,但凡落到具体事实我都一条条核实过。可也保不齐 Claude 从一开始就把我带进了完全错的方向,底下还埋着个我没看出来的更深的坑。不过,先算一版试试。

先得买一台能跑得动 Kimi K3 的机器。这得花多少钱?Moonshot AI(Kimi K3 的作者)给了一份 vLLM 部署方案[5],推荐“至少 8x GB300”。照这个配置能选的,比如 Supermicro 8U GPU SuperServer[6],一台标价足足 $550,000!我手边可没摆着五十万美元闲钱,所以这笔钱得靠借。按年息 8%(这大概还算往乐观里估算)借 3 年,摊到每月就是 $17,000 上下。

换个办法,也可以按每张 $4/hour 上下去租这 8 张 GPU。把那笔机房托管费(下面会讲)算进来,总数跟买机子差不多。借钱买下来的好处是,三年到期还能把机器转手,说不定净回笼 $150,000。租的好处则是,想收手随时能收手。

接下来我们需要把这台服务器放在某个地方。这类场所叫做服务器托管机房(colocation facility),虽然互联网上一般查不到定价信息,但 Claude 声称每月大约需要 $3,750,外加$600 的带宽费和约 $700 的电费。你也许会考虑把服务器放在自己家里,但它会产生巨量的热量,你还得为它专门买一台空调。

还有一些其他零碎开销,加起来每月总成本约为 $23,000。

那么我们一个月能处理多少 token 呢?SemiAnalysis[7] 给的数大约是每张 GPU ~6000 tokens/s,8 张便是 48,000 tokens/second,合 124 billion tokens/month。假设利用率达到 75%(对 API 服务商来说挺合理),那么成本约为 $0.25 / million tokens。再按智能体编程这一使用场景的常见比例(输入:输出 20:1,输入里 95% 走缓存)来算,对应的 API 服务成本(BaseTen 和同档那几家)是 $1.13 per million tokens。只要产能真能跑满,看起来自建服务器的运行成本明显低于服务商的收费。

显然,这只是一个粗略的分析,但它为 token 服务成本设定了一个合理的上限。真做成生意,规模效应、跟供应商砍价的余地都还能再压一截,可另一头也得给人发工资。

03 补贴

所以,我想我现在相信:token 的价格相当准确地反映了其背后的成本。激烈的竞争正在把成本往下压,但从底层成本来看,似乎仍然留有相当可观的利润空间。

这并不是说补贴就不存在了!我只是觉得,补贴并不发生在按 token 计费的 API 价格上,而是发生在订阅套餐上。SemiAnalysis 最近的一篇文章指出,一个每月 200 美元的套餐,能让你用到价值 2,000 到 10,000 美元不等的 token。这类套餐只面向个人和小型企业开放,企业客户则必须按 token 单价付费。

还有一点值得注意:我的分析忽略了模型训练的成本,而这项成本可能高达数亿美元[8]。目前,这笔费用由 Moonshot AI 的投资者承担。你可以认为这也是一种补贴,这个说法不无道理。我希望能有更多的政府意识到,训练开放模型是一件有益于社会的事(总好过让前沿模型只攥在私营企业手里),并决定直接为其提供资金支持。

你怎么看?你觉得本文这个分析能够说服你吗?你还有其他证据,能够说明 token 的真实成本到底是多少吗?

END

本期互动内容 🍻

作者在文末很诚实地补充了一点:这笔自托管的账,其实忽略了高达数亿美元的模型训练成本。读到这儿时,我其实犹豫了一下:如果把训练成本也强行摊薄到每一次推理里,现在的 API 定价逻辑可能瞬间就会被推翻。 我想听听大家的看法:你认为“训练成本”应该由推理阶段的 Token 价格来承担吗?还是说,在成熟的商业模式里,推理和训练本来就该是两笔分开算的账?

文中链接

[1]assistant.posit.co/

[2]www.baseten.co/

[3]posit.ai/

[4]claude.ai/share/77e18…

[5]recipes.vllm.ai/moonshotai/…

[6]store.supermicro.com/us_en/8u-gp…

[7]inferencex.semianalysis.com/run/kimi-k3…

[8]yaroslavvb.github.io/training-nu…

原文链接:

substack.hadley.nz/p/how-much-…