《手搓 Agent》系列第 1 篇,共 10 篇。系列导读与目录
图 1-1 系列地图。这一篇只讲中间那个黄色的框:大脑。
前言
导读里留了一个问题:Agent 和我每天在用的聊天机器人,到底差在哪?
我刚接触 Agent 这个词的时候,以为它就是“更聪明的聊天机器人”,换了个更强的模型而已。后来自己动手写了一遍,才发现想错了。Agent 里面用的模型,和聊天机器人里的可以是同一个。差别全在模型外面。
要看清外面到底多了什么,得先知道只有模型的时候,它能做什么、做不到什么。所以这一篇先不碰 Agent,只看大脑。读完你会有一个 20 行的小程序,我叫它小记 v0.1。它只能聊天,而它做不到的那几件事,正好是后面九篇要一件一件补上的。
本篇要点:
- 大模型只做一件事:根据前文猜下一个词。
- 模型不记事,聊天软件的“记性”是程序每次把全部历史重发了一遍。
- 只有模型,有三件事做不到。把它们补上,就得到 Agent 的三个部分。
一、聊天机器人和 Agent 差在哪
先看一个具体的任务。我有一个 notes 文件夹,里面是学习笔记,我想知道哪几篇提到了 RAG。
用聊天机器人,过程是这样的:我问它怎么找,它告诉我可以用搜索命令;我自己去终端里敲命令;把结果贴回对话框;它帮我整理成一个列表。来回三四趟,跑腿的一直是我。
用 Agent,我只说一句“看看 notes 里哪几篇提到了 RAG”。它自己列出文件,自己一篇篇打开看,看完告诉我是哪几篇。
图 1-2 左边跑腿的是我,右边跑腿的是它。
两边的区别,在“动手、看结果、决定下一步”这个圈由谁来转。
| 聊天机器人 | Agent | |
|---|---|---|
| 谁动手 | 我 | 它 |
| 谁看结果 | 我看完再贴给它 | 它自己看 |
| 什么时候停 | 答完一句就停 | 事情做完才停 |
所以我现在对 Agent 的理解是:一个能自己动手、自己看结果、自己决定下一步,直到把事情做完的程序。它的核心还是那个大模型,外面多了让它能“看”和能“动手”的东西,再加一个让它一圈圈转下去的循环。
那模型本身到底是什么?
二、大模型只做一件事:猜下一个词
大模型做的事情说出来很朴素:给它一段文字,它猜下一个词是什么。
比如给它“今天天气真”,它会给所有可能接在后面的词各打一个分。“好”的可能性最大,“不错”次之,“热”“冷”也有一点。然后从里面挑一个,比如挑中了“好”,把它接到原文后面,变成“今天天气真好”。接着拿这句新的话再猜下一个词,再接上。就这样一个词一个词往后写,直到某一步挑中了一个表示“结束”的特殊词,才停下来。
图 1-3 模型只会重复这一个动作:看前文,打分,挑一个,接上去。
提示 这里说的“词”,准确的叫法是 token。一个 token 可能是一个字、一个词,也可能是半个英文单词,怎么切由模型自己的词表决定。平时理解成“词”没问题;后面算长度、算价钱的时候,单位都是 token,到时候我会改口。
我明明是在问它问题,它怎么是在“接着往下写”?因为在它看来,对话也是一段文字:前面是“用户说了什么”,后面该轮到“助手说什么”了。它接着往下写的那一段,就是我们看到的回答。
2.1 只是猜词,为什么显得什么都懂
要把下一个词猜准,光靠背是不够的。要猜对“法国的首都是”后面的词,得知道地理。要猜对“小王把钥匙忘在公司了,回到家门口,他发现自己”后面的词,得明白没有钥匙进不了门。
模型在训练的时候读了海量的文字,一遍遍做这种填空,猜错了就调整自己。为了猜得更准,它被逼着学会了语法、常识,还有一步步推理的样子。这些本事都存在它内部的一大堆数字里,这堆数字叫参数。
训练结束,参数就固定了。之后我们每次调用模型,用的都是这一份固定下来的参数。它不会因为和我聊过天而变聪明,也不会因为我纠正过它一次,下次就改。这一点后面还会用到。
2.2 它为什么会一本正经地说错话
我原来以为模型肚子里有个资料库,问题来了它去查。其实没有“查”这一步。回答是一个词一个词写出来的,每一步挑的都是“接在这里最顺的词”。
顺和对是两回事。大多数时候顺的也是对的,因为它读过的东西里对的居多。可遇到它没见过的事,它照样能写出一段很顺的话,读起来和真的一样。这就是常说的幻觉。
2.3 同一个问题,为什么每次答得不一样
因为“挑一个”这一步带着随机。控制随机程度的设置叫温度(temperature)。
图 1-4 候选词还是那些候选词,温度改变的是挑的时候有多敢冒险。
温度调低,分数最高的那个词几乎每次都被选中,回答稳定。温度调高,排在后面的词也有机会,回答更多样,也更容易跑偏。写代码、从文档里抽信息这类要稳的活儿,一般调低;起名字、写文案可以调高一点。
2.4 “思考模式”是怎么回事
现在不少模型有思考模式,回答之前会先“想”一段。它并没有换一种工作方式,还是在接着往下写,只是先写一段草稿,再写正式回答。草稿在前面,后面的回答就能参考它,所以难一点的问题会答得更好,代价是更慢,也更费 token。
三、它不记得你:每次都要重发全部历史
用聊天软件的时候,它记得我三句话之前说过什么。我一直以为是模型记住了,写了代码才知道,模型什么都没记。
3.1 一个小演示
下面这段代码连续发了三次请求。要看的是第二次和第三次的区别:问的是同一句话,差别只在有没有把上一轮带上。
提示 跑代码前要装好
openai这个包,并设置三个环境变量,做法见导读的第六节。只想看道理的话,代码可以不跑。
import os
from openai import OpenAI
client = OpenAI(base_url=os.environ["LLM_BASE_URL"], api_key=os.environ["LLM_API_KEY"])
def chat(messages):
resp = client.chat.completions.create(model=os.environ["LLM_MODEL"], messages=messages)
return resp.choices[0].message.content
# 第一次请求:告诉它名字
first = chat([{"role": "user", "content": "我叫阿树,记住了吗?"}])
print("第一次:", first)
# 第二次请求:只发新问题,不带上一轮
print("第二次(不带历史):", chat([{"role": "user", "content": "我叫什么名字?"}]))
# 第三次请求:把上一轮的一问一答原样带上
print("第三次(带上历史):", chat([
{"role": "user", "content": "我叫阿树,记住了吗?"},
{"role": "assistant", "content": first},
{"role": "user", "content": "我叫什么名字?"},
]))
我这边的输出是这样的,你跑出来措辞会不一样:
第一次: 记住了,你叫阿树。之后我就这样称呼你。有什么想聊的?
第二次(不带历史): 我不知道你的名字——你还没有告诉我。……
第三次(带上历史): 你叫阿树。
第一次它说“记住了”,第二次就不认识我了。它没有敷衍我,它确实没有地方记。每一次请求对模型来说都是全新的,它只看得到这一次发过去的内容。第三次它答对了,是因为我把上一轮的对话原样又发了一遍。
3.2 聊天软件的“记性”是怎么来的
是软件自己做的。它把整段对话存在一个列表里,我每说一句新的,它就把从头到尾的全部对话,连同这句新的,一起发给模型。
图 1-5 对话越长,每次发过去的东西越多。模型那边每次都像第一次见我。
这个列表在接口里叫 messages。里面每一条消息有两样东西:谁说的(role)和说了什么(content)。现在用到的角色有三种:
| 角色 | 是谁在说 | 用来做什么 |
|---|---|---|
system | 写程序的人 | 开场交代:它是谁,该怎么做事。通常放在最前面 |
user | 我 | 我说的话 |
assistant | 模型 | 它之前说过的话 |
3.3 小记 v0.1:20 行的聊天程序
知道了这些,一个能连续聊天的程序就很短了。下面是小记 v0.1 的全部代码,要看的是 messages 这个列表在循环里怎么一点点变长。
import os
from openai import OpenAI
client = OpenAI(base_url=os.environ["LLM_BASE_URL"], api_key=os.environ["LLM_API_KEY"])
MODEL = os.environ["LLM_MODEL"]
# 整段对话都存在这个列表里。模型自己什么都不记,全靠我们每次把它发过去。
messages = [{"role": "system", "content": "你是小记,一个帮我整理学习笔记的助手。回答尽量简短。"}]
while True:
user_input = input("我:").strip()
if user_input in ("exit", "quit", "q"):
break
messages.append({"role": "user", "content": user_input})
resp = client.chat.completions.create(model=MODEL, messages=messages)
reply = resp.choices[0].message.content
messages.append({"role": "assistant", "content": reply}) # 它的回答也记下来,下一轮一起发
print("小记:" + reply)
真正起作用的只有三步:
- 把我说的话加进列表。
- 把整个列表发给模型。
- 把模型的回答也加进列表。
去掉第三步,它就会像刚才的演示那样,转头不认人。
3.4 这件事带来的三个后果
“模型不记事,全靠重发”,这件事后面会反复用到。
- 对话越长,每次发的越多,越慢也越贵。而且模型一次能看的长度有上限,早晚会装不下。这是第三、四篇要解决的。
- 模型看到的只有这个列表。列表里放了什么、怎么放,直接决定它表现好不好。列表里的全部内容,后面统一叫上下文。
- 列表在我们手里,所以我们能改它:删掉没用的,把一长段换成摘要,往里放它需要的资料。后面讲的记忆和检索,做的都是往这个列表里放东西、从这个列表里拿东西。
四、只有大脑,有三件事做不到
把 v0.1 跑起来,问它三个问题。
| 我问 | 它的反应 | 说明什么 |
|---|---|---|
| 今天是几月几号? | 我这边它直接报了一个日期,是错的 | 它知道的事情停在训练结束那一天 |
| 我电脑上 notes 文件夹里有几篇笔记? | 说看不到我的文件夹,让我把文件列表发给它 | 我的东西它没读过,这次我也没发给它 |
| 帮我在 notes 里新建一个 todo.md | 说没法操作我的电脑,建议我自己建 | 它能产出的只有文字 |
后两个回答是实话。第一个比较麻烦:它不知道今天几号,却不一定承认,就像前面说的,它只是写出了一句接得很顺的话。
三个短板:不知道新发生的事,看不到我的东西,动不了手。
换一个更强的模型,这三条也还在,因为它们是“只会接着往下写”带出来的。模型能用的信息只有两个来源:训练时读过的,和这次请求里发给它的。它能做的动作只有一个:输出文字。
五、给它配上眼睛和手脚
短板清楚了,补法也就清楚了。
前两条是“不知道”。训练时读过什么我们管不了,那就把它该知道的放进请求里。在系统消息里加一句“今天是某年某月某日”,再问今天几号,它就能答对。笔记也一样,把笔记内容放进 messages,它就“看到”了。往请求里放什么、怎么放,对应地图上的眼睛,也就是上下文。
第三条是“做不了”。模型只能输出文字,那就让它用文字说出想做什么,比如“我想读 notes 里的第一篇笔记”,由我们的程序替它去读,再把读到的内容放回 messages 给它看。替它跑腿的这些程序叫工具,对应地图上的手脚。
图 1-6 三个短板,两类补法。
合起来就是这个系列的骨架:
Agent = 大脑(模型)+ 眼睛(上下文)+ 手脚(工具)
眼睛和手脚是配合着用的。手脚从外面取回来的东西,要放进上下文,大脑才看得见;大脑看了之后,再决定下一步让手脚做什么。这一来一回,就是图 1-2 右边那个圈。
等它能看、能动手了,还得有东西管住它,别让它删错文件、没完没了地转。那是地图最外面那一圈缰绳,第八篇再讲。
常见误区
这几条我自己都想错过。
| 我原来以为 | 实际上 |
|---|---|
| Agent 用的是更聪明的模型 | 同一个模型,接上工具、放进循环就是 Agent |
| 模型记得我们聊过什么 | 它不记,是程序每次把整段对话重发了一遍 |
| 它答得这么流畅,应该是对的 | 流畅是因为它会写,它并没有去查证 |
| 聊多了它会越来越懂我 | 参数训练完就固定了,它“懂我”靠的是这次请求里带了什么 |
| 温度调到最低,每次回答就一模一样 | 只是更稳定,一般不保证同样的输入一定得到同样的输出 |
注意 文中讲的都是通用的道理。具体到某一家的模型服务,实现细节会有出入,你跑出来的结果和我写的不完全一样,是正常的。
小结
- 大模型只做一件事:看前文,猜下一个词,一个词一个词往后写。
- 它不记事。聊天软件的记性,是程序把整段对话存在
messages里,每次全部重发。 - 只有大脑,有三件事做不到:不知道新发生的事,看不到我的东西,动不了手。
- 补上眼睛(上下文)和手脚(工具),再让它一圈圈转起来,就是 Agent。
这一版的小记:
| 小记 v0.1 | |
|---|---|
| 有什么 | 一个大脑(模型),一个 messages 列表 |
| 能做什么 | 连续聊天,记得本次对话里说过的话 |
| 做不到 | 不知道今天几号,看不到我的笔记,动不了任何文件 |
下一篇
我让小记数一数 notes 里有几篇笔记,它说“我无法查看你的文件”。
我可以自己把文件列表贴给它,可那样跑腿的还是我。怎么让它自己去看?模型只会输出文字,连文件夹都碰不到,所谓“调用工具”,到底是谁在调用?
下一篇给它装上手脚。