聊聊 AI 的 token 到底是啥?

0 阅读3分钟

想象一下,你和一个外国朋友语言不通,需要找翻译。 这个翻译有个特别的规则:不按“字”算钱,而是按“词块”算钱

你说:“今天天气真好”, 翻译会拆成:

今天 / 天气 / 真 / 好

这些一个个“小块”,在 AI 里就叫 token

PixPin_2026-03-04_18-17-15.png


token 到底是啥?

很多人以为 token 就是“字数”,其实并不是。

最简单的理解:

token 是 AI 阅读和理解文字时使用的最小单位, 可以把它理解成“词块”。

几个直观例子:

  • 苹果 → 1 个 token
  • 人工智能 → 常被拆成「人工 / 智能」→ 2 个 token
  • hello → 1 个 token
  • hello world → 2 个 token

中英文的拆分规则也不一样:

  • 英文:大致按单词算

    • 100 个单词 ≈ 130 个 token
  • 中文:按“字”或常见词组算

    • 100 个汉字 ≈ 150 个 token

为什么 AI 要用 token?

因为 AI 并不直接理解“字”“词”或“句子”。 在它眼里,所有文字最终都要变成数字

token 的作用就是:

把文字切成小块 → 给每块编号 → 交给模型计算

例如:

“我喜欢 AI”
→ [我, 喜欢, AI]
→ [1234, 5678, 9012]

模型真正处理的,其实是这些数字。


token 为什么这么重要?

1. 决定你能聊多长

每个模型都有 token 上限,比如:

  • 8K
  • 32K
  • 128K

注意:

输入 + 输出 的 token 总数,加在一起算

不是字数限制,也不是消息条数限制。

如果你遇到过:

  • 聊着聊着 AI “失忆”
  • 前面说过的话突然不记得了

大概率就是:上下文 token 用完,被截断了


2. 决定你花多少钱

大多数 AI 服务都是按 token 计费的:

  • 输入:$X / 百万 tokens
  • 输出:$Y / 百万 tokens(通常更贵)

也就是说:

同样一句话,说得越啰嗦,用的 token 越多,越贵


3. 决定响应速度

模型是逐 token 生成内容的:

  • token 越多
  • 计算步骤越多
  • 响应就越慢

所以通常:

  • 提示词越精简,回复越快
  • 长上下文模型,更慢也更贵

一个更生活化的比喻

把 AI 当成快递站

  • 你的文字 = 包裹
  • token = 重量单位(不是按件,是按重量)
  • 最大承重 = token 上限
  • 运费 = 按 token 计费

同一个意思,表达越精简:

更便宜、更快,也更不容易超限


怎么快速估算 token?

日常使用,记住一个粗略公式就够了:

  • 英文:1 token ≈ 4 个字母 ≈ 0.75 个单词
  • 中文:1 token ≈ 1.5 个汉字

所以可以简单估:

  • 1000 字中文 ≈ 600~700 token
  • 1000 个英文单词 ≈ 1300 token

⚠️ 注意: 标点、数字、代码、URL、生僻词,都会影响 token 数,不存在绝对精确的换算公式


超简小结

问题一句话答案
token 是什么?AI 处理文字的最小单位,可理解为“词块”
和字数关系?中文约 1.5 字 = 1 token英文约 0.75 单词 = 1 token
为什么重要?影响对话长度、费用、响应速度
怎么省 token?表达精简,少废话、少重复

一句话总结: token 是 AI 的量尺 + 计价器, 用它来“读文字”,也用它来“算成本”。

下次再看到:

  • 8K context:约 6000~8000 汉字
  • 128K context:可一次性读几万字
  • 1M context:整本书、超大代码库都能一次吃下

你就知道,它真正指的是什么了。