Token、Prompt、Embedding、Function Calling 概念介绍

40 阅读4分钟

在当今的大模型(LLM)时代,这四个词——Token、Prompt、Embedding、Function Calling——构成了 AI 开发的核心。如果把大模型比作一个“超级大脑”,那么这四个概念分别代表了它的原材料、指挥棒、理解力外部触手

下面通过通俗易懂的方式为你逐一拆解。


1. Token(原材料):AI 的“识字块”

大模型其实并不直接认识“文字”,它认识的是 Token

  • 通俗理解:想象你有一盒乐高积木。当你写下一句话时,AI 会先把这句话拆成一个个“零件”。在英文中,一个 Token 可能是一个单词或词根;在中文中,通常是一个字或词组。
  • 为什么重要
    • 计费单位:你和 AI 聊天的成本(钱)是按 Token 数量算的。
    • 限制条件:模型都有“上下文窗口限制”(比如 128k Tokens),意思就是这个大脑一次最多只能“拿住”这么多积木,多了就记不住了。
  • 例子"Apple" 可能是 1 个 Token,但 "Antidisestablishmentarianism" 可能被拆成 5 个 Token。

2. Prompt(指挥棒):你下达的“指令”

Prompt 就是你输入给 AI 的文字,也就是“提示词”。

  • 通俗理解:它就像是导演对演员说的戏。如果你只说“演一下”,演员(AI)会一脸懵逼;如果你说“演一个在雨中失恋但强忍泪水的霸道总裁”,演员就能给你精准的表演。
  • 核心技巧(Prompt Engineering)
    • 角色设定:告诉它“你是一个资深律师”。
    • 上下文补充:给它一些背景资料。
    • 任务要求:告诉它输出格式(比如“请用 JSON 格式返回”)。
  • 一句话总结:Prompt 的质量直接决定了 AI 输出的质量。

3. Embedding(理解力):文字的“数字地图”

Embedding(嵌入)是大模型理解世界万物之间语义联系的关键。

  • 通俗理解:想象一个巨大的 3D 空间。Embedding 把每一个词语都变成空间里的一个坐标(一串长长的数字,比如 [0.12, -0.45, 0.88...])。
  • 它能做什么
    • 语义找词:在数字地图上,离“猫”最近的词不是“狗”,就是“小鱼干”。
    • 关联搜索:当你在搜索框搜“美味的午餐”时,Embedding 算法能帮你找到“披萨”或“汉堡”,即使你的文档里没写“美味”两个字。
  • 应用场景:现在的 RAG(检索增强生成) 技术就是靠 Embedding 把你的私人文档变成坐标,当你有问题时,AI 去坐标系里找离问题最近的文档片段喂给大模型。

4. Function Calling(外部触手):AI 的“行动力”

这是让 AI 从“只会聊天”变成“能干活”的分水岭。

  • 通俗理解:大模型本质上是一个预测概率的文本生成器,它没法直接查天气、买火车票或操作你的电脑。Function Calling 就是给 AI 定义一套“工具箱说明书”。
  • 工作流程
    1. 你问:“上海今天热吗?”
    2. 模型判断:我不知道实时天气,但我发现我工具箱里有个函数叫 get_weather(city)
    3. 模型返回:它不直接说话,而是输出一个指令:“请帮我运行 get_weather(city='上海')”。
    4. 程序执行:你的电脑/程序运行这个函数,拿到结果反馈给 AI。
    5. AI 回答:“上海今天 35 度,挺热的。”
  • 意义:它让 AI 拥有了连接真实世界 API(天气、日历、数据库)的能力,成了真正的助手(Agent)。

总结:它们是如何协作的?

想象你开发了一个“智能旅行管家”:

  1. Prompt:你告诉 AI:“你是一个旅行管家,请根据用户需求查机票。”
  2. Token:用户说了一句“我想去巴黎”,这句话被拆成 5 个 Token 发送给模型。
  3. Embedding:后台系统把“巴黎”和你的历史订单进行 Embedding 匹配,发现你喜欢靠窗的座位。
  4. Function Calling:AI 发现自己无法直接订票,于是触发了 book_flight 函数,填好“巴黎”和“靠窗”的参数,帮你完成了下单。

这四个概念,共同完成了一个从“输入”到“理解”再到“执行”的闭环。