Token的成本构成:到底什么最烧钱?
7月初的火山引擎Force大会上,有个争议被摆到了台面上。
“关键是不能只看单Token的价格,要看单Token创造的价值。”
没有具体数据,所以我花了几天时间把Token成本的账翻了一遍,翻完发现:确实比你想象的要复杂——它的成本结构取决于你在什么规模上做、用什么架构做、在哪里做,三个变量一变,结论完全不同。
先把账拆开
咱们说的一个Token从模型到用户屏幕,大致经过这几个环节:GPU执行推理计算、服务器供电和散热、网络传输、机房基础设施、运维人力、模型本身的研发摊销。每项成本的占比,在不同规模下差异大得离谱。
人力是大头。8张卡雇一个工程师管,人的成本可能比机器还贵。但如果同一个工程师能管128张卡,比例就翻转了——硬件折旧占到81%,电力升到10%,人力降到了个位数。Token成本的最大变量不在GPU本身,而在规模效应能不能把人力成本摊薄到可以忽略。
推理效率:同样的卡,差距可以到一倍
MiniMax在2025年前9个月API业务毛利率高达69%,靠的不是涨价,是把单张GPU的Token产出做到别人两倍。
行业平均的推理MFU(模型算力利用率)大概在40-50%之间。MiniMax做到了75%以上。同样的H100,别人的利用率是"五折",它是"七五折",单位Token的硬件摊销自然就低了。背后的技术手段包括MoE架构(推理时只激活部分参数)、多层注意力压缩(减少KV缓存的显存占用)、定制推理引擎等。
电力:被低估的地理变量
GPU 折旧是沉没成本,买完摊在那儿,跑不跑都一样。电费是实打实的线性开销。一块 H100 一年电费在不同地区能差出两三倍:美国商业电价大约每千瓦时 0.08 到 0.10 美元,欧洲一些地区能到 0.15 美元以上,国内各省的工业电价也参差不齐。
这带来一个现实问题:推理集群建在哪儿,直接决定利润空间。UCloud 之前说过,Token 降本的第一层答案不在算法,而在把电力成本压下来、把 PUE 做下来。这个判断很实在。
更现实的是,电力正在变成硬约束。OpenAI、微软、Google 这些巨头每年投千亿美元级建数据中心,但电网扩容没那么快。在电力紧张的地区,拿到供电配额比买到 GPU 还让人头大。
网络和带宽:规模越大越疼
GPU云平台上,这部分成本通常已经打包。但如果你自建、或者数据需要跨区域传输,出口流量是一个容易被忽略的开销。
前面那个Llama 3.1案例里,优化前AWS的出口和网络费用(ALB、NAT网关、8TB出站)每月7,500【单位$】,占总成本的19%。优化后他们直接切到了网络出口免费的GPU云平台,这块成本归零。
对API提供方来说,网络成本摊到每Token上确实不算什么。但对自建推理服务的团队,如果数据量上去、用户分散在不同地域,CDN和出口流量费就不是小数目了。
模型研发摊销:大头但难算
以上算的都是"运行"一个已有模型的成本。模型本身的研发——训练算力、数据采购、标注、研究团队薪酬——是另一笔巨账。
GPT-4级别的模型单次训练成本从数千万到上亿美元不等,这些要通过Token定价摊销回来。但摊销方式差异巨大:有的厂商把训练成本当沉没成本,API定价只覆盖推理的边际成本(比如DeepSeek的低价策略);有的厂商则通过高定价逐步回收研发投入(比如智谱GLM-5在2026年2月提价,输入从0.6涨到1.0/百万Token,涨幅67%,单位$)。
这一项到底占每Token成本的多少,没人公布过具体数字。但从不同厂商的定价策略差异可以反推——训练成本摊销在厂商之间的分配意愿完全不一样。愿意靠生态补贴的,摊销摊得少;需要独立盈利的,定价里藏的摊销比例更高。
站在2026年7月的时间点看,答案取决于你是谁和路径不同。
Token成本这件事目前没有什么"标准构成比例"。它更像一面镜子,照出的是厂商的架构能力、规模阶段、商业化策略——你在镜子里看到什么,取决于你站在什么位置。
🔑