对账那天,很多运维同学都经历过同样的怀疑人生。厂商账单上写着消耗了 860 万 token,自己网关统计出来只有 720 万,两边差了整整 140 万。第一反应是 "是不是统计代码写错了",查了一圈代码没毛病,SQL 也跑过好几遍,最后才意识到,根本不是谁算错了,而是两边根本不在用同一把尺子量。
Token 计量不准,差不多是每个做 AI 成本管理的人早晚都会遇上的问题。它不是偶发的 bug,而是多种口径差异叠在一起的结果。搞明白差在哪,比反复核对数字有用得多。
分词器不一样,数自然对不上
Token 这个单位看起来客观,实际一点都不统一。不同模型厂商各用各的分词方案,同一句中文,切出来的 token 数可能差出一截。
中文场景尤其明显。有的模型按字切,有的按词切,还有的会把常见词组打包成单个 token。同样一段产品描述,A 模型算 210 个 token,B 模型算 178 个,谁都没错,就是算法逻辑不同。用开源分词器在本地自己算,再拿去和厂商账单比,对不上几乎是必然的,因为本地用的这套分词器,和厂商后端跑的根本不是一回事。
这是最底层的一层差异,绕不过去,只能承认。
看不见的部分,才是误差的大头
比分词器差异更容易踩坑的,是 "计费范围" 的差异。企业自己统计时,往往只算业务明文,而厂商计费时算的是真正送进模型的全部内容。
系统提示词、角色设定、工具调用的参数、多轮对话的历史上下文,这些通常不会出现在业务代码的统计逻辑里,却实实在在计进了厂商账单。一次简单问答,业务侧觉得只发了 30 个 token,实际模型收到的可能是 300 个,差距就是这么来的。
还有缓存命中的问题。有些厂商对命中缓存的输入按优惠价计费,账单上体现的 token 数看着不多,但业务侧算入库的量却是全量。两边一比,又是一笔对不上的账。
重试和超时,把账算重了
这部分最容易被忽略,也最容易让统计结果虚高。
网络抖动、接口超时,客户端自动重发同一个请求。厂商侧只对真正完成的推理计费,失败的那几次可能不收或部分收;而企业自己的统计逻辑,往往在请求发起时就记了一笔。一次失败重试,本地记两次,厂商记一次,差异就积起来了。
流式输出也有类似的坑。首字返回后连接中断,业务侧可能已计入输出 token,厂商侧的结算却未必按同样的规则。这类边界情况不当回事,月底一汇总就是一大坨说不清的数。
时间口径和标签口径,也别忽略
统计对不上,有时候纯粹是时间边界的问题。
厂商账单按自己的计费周期结算,可能是自然月,也可能按结算日或账期切分。企业按本地时间统计,月末或月初那几个小时的请求,归属就会出现偏差。跨时区部署的话,偏差还会更大。
标签口径更麻烦。同一个请求,企业按业务线打了 A 标签,厂商那边根本不认识这个维度。想做 "某部门花了多少" 这样的拆解,厂商账单帮不上忙,只能靠自己重新归集。如果标签打得不规范,或者中途改过分类规则,历史数据就彻底对不齐了。
想让数对得上,得先有统一基准
看清这些差异之后,结论其实很简单:不要指望用厂商账单反推内部用量,也不要用本地估算去校验厂商账单,两边本来就不是一回事。
正确的做法,是建立一套企业自己的统一计量基准。所有模型调用,不管后端是哪家,都按同一套规则计量和记账。这套基准不替代厂商计费,而是做对账的参照物。厂商说多少,用自己的基准一比,差异出在哪个模型、哪个时间段、哪个环节,能快速定位,而不是笼统地说 "对不上"。
统一基准还有个额外好处:按业务线、按应用、按场景的成本归因才有意义。标签是自己打的,口径是自己定的,拆分出来的数据才对决策有用。
靠统一入口,把计量收敛到一处
基准要建得起来,前提是所有调用从统一入口进出。业务各自直连不同厂商,计量规则就散在各处,想统一基本是空谈。
通过 XApex 这类多模型统一 API 平台,一次接入就能覆盖 OpenAI、Claude、Gemini、DeepSeek、Qwen、GLM 等主流模型,代码、图片、视频生成场景走同一套接口。所有流量经过平台,token 计量、标签、耗时在同一层采集,不管后端接的是哪家,都按同一套规则记账。对账时以平台数据为基准,和各家账单核对,差异能落到具体模型和具体时段上。
统一的用量数据顺带解决成本归因。每一笔调用挂上部门、项目标签,按业务单元出报表,预算临阈值预警。不同模型的效果和成本也能在同一处横向对比,方便按需选型。平台提供灵活计费方案,适配独立开发者、AI 应用团队和有批量调用需求的企业,不用一上来就投入大把人力和预算自建计量系统。
写在最后
Token 计量不准,很少是系统出了故障,大多是口径差异叠加的结果。分词器不同、计费范围不同、重试处理不同、时间边界不同,每一条都能让数字偏一点,合起来就是一笔糊涂账。
与其反复核对数字、互相怀疑,不如先承认差异存在,再建一套自己的统一基准。把计量收敛到统一入口,用一把尺子量所有模型,账单才能变成能用于决策的数据。数对得上了,成本才管得住,AI 这笔投入才不至于年年靠猜。