自部署AI模型时，几笔容易漏算的成本
开源权重模型2026年确实在变强。基准测试分数跟闭源旗舰的差距在缩小，越来越多团队开始认真考虑把模型跑在自己的服务器上。
但"开源=免费"这个前提本身就经不起细看。权重文件确实不收费，部署和运维要花钱——这部分很多人算过，也有很多人算错了。
显卡租金只是第一层
跑一个700亿参数规模的模型，单张A100 80GB够用。2026年7月主流云平台的按需月租，全天不停机，一张A100大约1440美元。跑4050亿参数那种超大模型，8张A100并联，月租约11520美元。
很多人拿到这个数字，直接除以每月能处理的Token数量，算出"自部署每百万Token只要几毛钱"，得出自部署比调API便宜的结论。
1440美元是账单上最显眼的那一行，但不是全部。
1.3到2倍的乘数
运维人力。即便不招专职SRE，一个熟悉容器管理、模型量化、推理加速框架的工程师每月投入15小时，时薪100美元就是1500美元。团队里没有这种人，外聘更贵。
冗余和灾备。生产环境至少双副本，一台显卡服务器挂了服务不能断。显卡成本直接翻倍，或者至少增加50%到100%。
监控和辅助设施。日志、告警、负载均衡、模型版本切换的测试，每月100到500美元的基础设施，加上每次升级的回归测试时间。
加在一起，单张A100部署700亿参数模型的生产环境，月真实成本大约3240美元。需要双副本加全天可用的话，轻松超过5000美元。
拿到显卡租金就按计算器，会漏掉将近一半的实际支出。
利用率的坑
很多自建推理服务的团队显卡利用率只有20%到30%。API厂商通过连续批处理和模型路由能做到60%到80%。利用率差一倍，单位成本就翻倍。
这部分浪费来自自己没利用好的算力。按20%利用率算出的"每百万Token几毛钱"，跟真实产出之间的差距，比显卡租金和总成本之间的差距还大。
什么时候质量也成了成本
开源700亿参数模型在分类、摘要、格式化输出、简单工具调用这些任务上，跟闭源中端模型差距已经很小。但在代码生成、多步推理、复杂智能体任务上，闭源高端模型仍然领先。
依赖这些能力的场景，自部署开源模型虽然便宜，任务完成率可能会下降。需要更多Token来完成同一件事——更多次重试、更长的prompt、更不确定的输出。这部分额外消耗很难精确量化，但确实存在。
2026年行业在往混合部署走：核心推理走闭源API保证质量，工具调用和简单任务走自部署小模型控制成本。质量差距带来的隐性开销，就是这条路线的底层逻辑。
两个被低估的风险
囤卡思维。一次买断几台显卡服务器比按月租看起来划算，但显卡硬件更新极快。英伟达Blackwell架构的B200推理能效比上一代高30%到50%。今天花35000美元买一张H100，三年折旧完它可能已经被更新两代的硬件碾压了。租卡的灵活性在这轮迭代周期里反而是优势。
只看单位成本不看弹性。API模式下单月用量从1亿Token跳到5亿Token，成本跟着涨就行。自部署模式下，用量增长意味着加卡、加运维、加灾备，每一项都是数千美元的固定投入。如果你的用量波动大，固定成本结构反而更危险。
算的时候乘个1.5
"开源模型免费"只说对了一半。权重文件免费，部署和运维另外花钱。完整的成本模型至少要把显卡租金乘以1.3到2，再考虑利用率打折和质量差距带来的额外消耗。
2026年下半年越来越多团队在算一道题：Token用量还在增长，什么时候从API切到自部署。API定价层级、团队运维能力、质量要求——每个变量不一样，结论就不一样。
但在按计算器之前，至少得把所有该加的项加进去。3240美元不是1440美元，20%利用率不是60%利用率，质量差距可能意味着更多重试。把这些算完，再比较。
🔑
