Token怎么计算的？

每个模型都具有不同的功能和价格。价格是按照每1000个 Token 计算的。您可以将Token视为单词的组成部分，其中1000个Token 大约相当于750个单词。(这段文字包含35个Token)

• 可以看到35个颜色块 每个块都有ID
  • 英文、中文 都会有单独的一个ID
  • 不同的语言 在embedding中的向量是不一样的
• 可以理解为 对应模型中的一个词

价格介绍

openai.com/pricing

使用openapi的成本计算

• 调用接口要花钱
• 返回的数据也要花钱

3.5的收费

embedding模型的收费

训练模型的收费

tiktoken: a fast BPE(Byte pair encoding) Tokenizer

BPE(Byte pair encoding) 字节对的编码方式 分词器

特点

• 快 embedding的时候 表示学习 需要大量处理数据 快慢会影响到AIGC 应用的速度