获得徽章 21
#大模型日报# 大模型性价比之王来了？
今天字节跳动发布了豆包大模型，称模型价格比行业价格低了99.3%！！！
字节选择了“公有云+闭源”技术路线，百度也类似，我觉得这反映出闭源大模型正逐渐成为主流。
值得注意的是，豆包的通用模型pro-32k版推理输入价格为0.0008元/千tokens，0.8厘就可以处理1500字了，厚厘蟹，大模型价格正式进入“厘时代”。么？
Doubao-pro-32k，预付费价格为输入0.0008元/千tokens。但是，现场没有展示的是输出价格0.002元/千tokens，且限制RPM为60。 什么意思呢？也就是说每秒1个Request的情况下，才能享受到这个价格，且加权平均输入输出后，是0.001元/千tokens。
当应用于生产环境，要增大并发的时候，又会怎么计价呢？
Doubao-pro-32k的TPM/RPM后付费价格是12000元一个TPM单元（即每分钟10000个令牌），按月计费。
假设官网没有明确TPM预付费下的RPM限制，我们假设RPM可以放开，以TPM限制先到为准。这样折算下来，如果TPM全部跑满，实际成本达到0.028元/千tokens，比表面上看到的0.0008元/千tokens高出27倍。
有意思，我这边蹲一手后续，在实际业务场景中，选择大模型时应该考虑哪些因素？低价是否真正代表性价比？大家又怎么看待闭源大模型的趋势和价格战？
今天字节跳动发布了豆包大模型，称模型价格比行业价格低了99.3%！！！
字节选择了“公有云+闭源”技术路线，百度也类似，我觉得这反映出闭源大模型正逐渐成为主流。
值得注意的是，豆包的通用模型pro-32k版推理输入价格为0.0008元/千tokens，0.8厘就可以处理1500字了，厚厘蟹，大模型价格正式进入“厘时代”。么？
Doubao-pro-32k，预付费价格为输入0.0008元/千tokens。但是，现场没有展示的是输出价格0.002元/千tokens，且限制RPM为60。 什么意思呢？也就是说每秒1个Request的情况下，才能享受到这个价格，且加权平均输入输出后，是0.001元/千tokens。
当应用于生产环境，要增大并发的时候，又会怎么计价呢？
Doubao-pro-32k的TPM/RPM后付费价格是12000元一个TPM单元（即每分钟10000个令牌），按月计费。
假设官网没有明确TPM预付费下的RPM限制，我们假设RPM可以放开，以TPM限制先到为准。这样折算下来，如果TPM全部跑满，实际成本达到0.028元/千tokens，比表面上看到的0.0008元/千tokens高出27倍。
有意思，我这边蹲一手后续，在实际业务场景中，选择大模型时应该考虑哪些因素？低价是否真正代表性价比？大家又怎么看待闭源大模型的趋势和价格战？
展开
评论
3
个人成就