手搓 Agent(一):先有大脑——大模型只会做一件事

6 阅读13分钟

《手搓 Agent》系列第 1 篇,共 10 篇。系列导读与目录

图 1-1 系列地图

图 1-1 系列地图。这一篇只讲中间那个黄色的框:大脑。

前言

导读里留了一个问题:Agent 和我每天在用的聊天机器人,到底差在哪?

我刚接触 Agent 这个词的时候,以为它就是“更聪明的聊天机器人”,换了个更强的模型而已。后来自己动手写了一遍,才发现想错了。Agent 里面用的模型,和聊天机器人里的可以是同一个。差别全在模型外面。

要看清外面到底多了什么,得先知道只有模型的时候,它能做什么、做不到什么。所以这一篇先不碰 Agent,只看大脑。读完你会有一个 20 行的小程序,我叫它小记 v0.1。它只能聊天,而它做不到的那几件事,正好是后面九篇要一件一件补上的。

本篇要点:

  • 大模型只做一件事:根据前文猜下一个词。
  • 模型不记事,聊天软件的“记性”是程序每次把全部历史重发了一遍。
  • 只有模型,有三件事做不到。把它们补上,就得到 Agent 的三个部分。

一、聊天机器人和 Agent 差在哪

先看一个具体的任务。我有一个 notes 文件夹,里面是学习笔记,我想知道哪几篇提到了 RAG。

用聊天机器人,过程是这样的:我问它怎么找,它告诉我可以用搜索命令;我自己去终端里敲命令;把结果贴回对话框;它帮我整理成一个列表。来回三四趟,跑腿的一直是我。

用 Agent,我只说一句“看看 notes 里哪几篇提到了 RAG”。它自己列出文件,自己一篇篇打开看,看完告诉我是哪几篇。

图 1-2 聊天机器人和 Agent

图 1-2 左边跑腿的是我,右边跑腿的是它。

两边的区别,在“动手、看结果、决定下一步”这个圈由谁来转。

聊天机器人Agent
谁动手我它
谁看结果我看完再贴给它它自己看
什么时候停答完一句就停事情做完才停

所以我现在对 Agent 的理解是:一个能自己动手、自己看结果、自己决定下一步,直到把事情做完的程序。它的核心还是那个大模型,外面多了让它能“看”和能“动手”的东西,再加一个让它一圈圈转下去的循环。

那模型本身到底是什么?

二、大模型只做一件事:猜下一个词

大模型做的事情说出来很朴素:给它一段文字,它猜下一个词是什么。

比如给它“今天天气真”,它会给所有可能接在后面的词各打一个分。“好”的可能性最大,“不错”次之,“热”“冷”也有一点。然后从里面挑一个,比如挑中了“好”,把它接到原文后面,变成“今天天气真好”。接着拿这句新的话再猜下一个词,再接上。就这样一个词一个词往后写,直到某一步挑中了一个表示“结束”的特殊词,才停下来。

图 1-3 猜下一个词

图 1-3 模型只会重复这一个动作:看前文,打分,挑一个,接上去。

提示 这里说的“词”,准确的叫法是 token。一个 token 可能是一个字、一个词,也可能是半个英文单词,怎么切由模型自己的词表决定。平时理解成“词”没问题;后面算长度、算价钱的时候,单位都是 token,到时候我会改口。

我明明是在问它问题,它怎么是在“接着往下写”?因为在它看来,对话也是一段文字:前面是“用户说了什么”,后面该轮到“助手说什么”了。它接着往下写的那一段,就是我们看到的回答。

2.1 只是猜词,为什么显得什么都懂

要把下一个词猜准,光靠背是不够的。要猜对“法国的首都是”后面的词,得知道地理。要猜对“小王把钥匙忘在公司了,回到家门口,他发现自己”后面的词,得明白没有钥匙进不了门。

模型在训练的时候读了海量的文字,一遍遍做这种填空,猜错了就调整自己。为了猜得更准,它被逼着学会了语法、常识,还有一步步推理的样子。这些本事都存在它内部的一大堆数字里,这堆数字叫参数。

训练结束,参数就固定了。之后我们每次调用模型,用的都是这一份固定下来的参数。它不会因为和我聊过天而变聪明,也不会因为我纠正过它一次,下次就改。这一点后面还会用到。

2.2 它为什么会一本正经地说错话

我原来以为模型肚子里有个资料库,问题来了它去查。其实没有“查”这一步。回答是一个词一个词写出来的,每一步挑的都是“接在这里最顺的词”。

顺和对是两回事。大多数时候顺的也是对的,因为它读过的东西里对的居多。可遇到它没见过的事,它照样能写出一段很顺的话,读起来和真的一样。这就是常说的幻觉。

2.3 同一个问题,为什么每次答得不一样

因为“挑一个”这一步带着随机。控制随机程度的设置叫温度(temperature)。

图 1-4 温度

图 1-4 候选词还是那些候选词,温度改变的是挑的时候有多敢冒险。

温度调低,分数最高的那个词几乎每次都被选中,回答稳定。温度调高,排在后面的词也有机会,回答更多样,也更容易跑偏。写代码、从文档里抽信息这类要稳的活儿,一般调低;起名字、写文案可以调高一点。

2.4 “思考模式”是怎么回事

现在不少模型有思考模式,回答之前会先“想”一段。它并没有换一种工作方式,还是在接着往下写,只是先写一段草稿,再写正式回答。草稿在前面,后面的回答就能参考它,所以难一点的问题会答得更好,代价是更慢,也更费 token。

三、它不记得你:每次都要重发全部历史

用聊天软件的时候,它记得我三句话之前说过什么。我一直以为是模型记住了,写了代码才知道,模型什么都没记。

3.1 一个小演示

下面这段代码连续发了三次请求。要看的是第二次和第三次的区别:问的是同一句话,差别只在有没有把上一轮带上。

提示 跑代码前要装好 openai 这个包,并设置三个环境变量,做法见导读的第六节。只想看道理的话,代码可以不跑。

import os
from openai import OpenAI

client = OpenAI(base_url=os.environ["LLM_BASE_URL"], api_key=os.environ["LLM_API_KEY"])

def chat(messages):
    resp = client.chat.completions.create(model=os.environ["LLM_MODEL"], messages=messages)
    return resp.choices[0].message.content

# 第一次请求:告诉它名字
first = chat([{"role": "user", "content": "我叫阿树,记住了吗?"}])
print("第一次:", first)

# 第二次请求:只发新问题,不带上一轮
print("第二次(不带历史):", chat([{"role": "user", "content": "我叫什么名字?"}]))

# 第三次请求:把上一轮的一问一答原样带上
print("第三次(带上历史):", chat([
    {"role": "user", "content": "我叫阿树,记住了吗?"},
    {"role": "assistant", "content": first},
    {"role": "user", "content": "我叫什么名字?"},
]))

我这边的输出是这样的,你跑出来措辞会不一样:

第一次: 记住了,你叫阿树。之后我就这样称呼你。有什么想聊的?
第二次(不带历史): 我不知道你的名字——你还没有告诉我。……
第三次(带上历史): 你叫阿树。

第一次它说“记住了”,第二次就不认识我了。它没有敷衍我,它确实没有地方记。每一次请求对模型来说都是全新的,它只看得到这一次发过去的内容。第三次它答对了,是因为我把上一轮的对话原样又发了一遍。

3.2 聊天软件的“记性”是怎么来的

是软件自己做的。它把整段对话存在一个列表里,我每说一句新的,它就把从头到尾的全部对话,连同这句新的,一起发给模型。

图 1-5 每次重发全部历史

图 1-5 对话越长,每次发过去的东西越多。模型那边每次都像第一次见我。

这个列表在接口里叫 messages。里面每一条消息有两样东西:谁说的(role)和说了什么(content)。现在用到的角色有三种:

角色是谁在说用来做什么
system写程序的人开场交代:它是谁,该怎么做事。通常放在最前面
user我我说的话
assistant模型它之前说过的话

3.3 小记 v0.1:20 行的聊天程序

知道了这些,一个能连续聊天的程序就很短了。下面是小记 v0.1 的全部代码,要看的是 messages 这个列表在循环里怎么一点点变长。

import os
from openai import OpenAI

client = OpenAI(base_url=os.environ["LLM_BASE_URL"], api_key=os.environ["LLM_API_KEY"])
MODEL = os.environ["LLM_MODEL"]

# 整段对话都存在这个列表里。模型自己什么都不记,全靠我们每次把它发过去。
messages = [{"role": "system", "content": "你是小记,一个帮我整理学习笔记的助手。回答尽量简短。"}]

while True:
    user_input = input("我:").strip()
    if user_input in ("exit", "quit", "q"):
        break
    messages.append({"role": "user", "content": user_input})

    resp = client.chat.completions.create(model=MODEL, messages=messages)
    reply = resp.choices[0].message.content

    messages.append({"role": "assistant", "content": reply})  # 它的回答也记下来,下一轮一起发
    print("小记:" + reply)

真正起作用的只有三步:

  1. 把我说的话加进列表。
  2. 把整个列表发给模型。
  3. 把模型的回答也加进列表。

去掉第三步,它就会像刚才的演示那样,转头不认人。

3.4 这件事带来的三个后果

“模型不记事,全靠重发”,这件事后面会反复用到。

  1. 对话越长,每次发的越多,越慢也越贵。而且模型一次能看的长度有上限,早晚会装不下。这是第三、四篇要解决的。
  2. 模型看到的只有这个列表。列表里放了什么、怎么放,直接决定它表现好不好。列表里的全部内容,后面统一叫上下文。
  3. 列表在我们手里,所以我们能改它:删掉没用的,把一长段换成摘要,往里放它需要的资料。后面讲的记忆和检索,做的都是往这个列表里放东西、从这个列表里拿东西。

四、只有大脑,有三件事做不到

把 v0.1 跑起来,问它三个问题。

我问它的反应说明什么
今天是几月几号?我这边它直接报了一个日期,是错的它知道的事情停在训练结束那一天
我电脑上 notes 文件夹里有几篇笔记?说看不到我的文件夹,让我把文件列表发给它我的东西它没读过,这次我也没发给它
帮我在 notes 里新建一个 todo.md说没法操作我的电脑,建议我自己建它能产出的只有文字

后两个回答是实话。第一个比较麻烦:它不知道今天几号,却不一定承认,就像前面说的,它只是写出了一句接得很顺的话。

三个短板:不知道新发生的事,看不到我的东西,动不了手。

换一个更强的模型,这三条也还在,因为它们是“只会接着往下写”带出来的。模型能用的信息只有两个来源:训练时读过的,和这次请求里发给它的。它能做的动作只有一个:输出文字。

五、给它配上眼睛和手脚

短板清楚了,补法也就清楚了。

前两条是“不知道”。训练时读过什么我们管不了,那就把它该知道的放进请求里。在系统消息里加一句“今天是某年某月某日”,再问今天几号,它就能答对。笔记也一样,把笔记内容放进 messages,它就“看到”了。往请求里放什么、怎么放,对应地图上的眼睛,也就是上下文。

第三条是“做不了”。模型只能输出文字,那就让它用文字说出想做什么,比如“我想读 notes 里的第一篇笔记”,由我们的程序替它去读,再把读到的内容放回 messages 给它看。替它跑腿的这些程序叫工具,对应地图上的手脚。

图 1-6 三个短板和补法

图 1-6 三个短板,两类补法。

合起来就是这个系列的骨架:

Agent = 大脑(模型)+ 眼睛(上下文)+ 手脚(工具)

眼睛和手脚是配合着用的。手脚从外面取回来的东西,要放进上下文,大脑才看得见;大脑看了之后,再决定下一步让手脚做什么。这一来一回,就是图 1-2 右边那个圈。

等它能看、能动手了,还得有东西管住它,别让它删错文件、没完没了地转。那是地图最外面那一圈缰绳,第八篇再讲。

常见误区

这几条我自己都想错过。

我原来以为实际上
Agent 用的是更聪明的模型同一个模型,接上工具、放进循环就是 Agent
模型记得我们聊过什么它不记,是程序每次把整段对话重发了一遍
它答得这么流畅,应该是对的流畅是因为它会写,它并没有去查证
聊多了它会越来越懂我参数训练完就固定了,它“懂我”靠的是这次请求里带了什么
温度调到最低,每次回答就一模一样只是更稳定,一般不保证同样的输入一定得到同样的输出

注意 文中讲的都是通用的道理。具体到某一家的模型服务,实现细节会有出入,你跑出来的结果和我写的不完全一样,是正常的。

小结

  • 大模型只做一件事:看前文,猜下一个词,一个词一个词往后写。
  • 它不记事。聊天软件的记性,是程序把整段对话存在 messages 里,每次全部重发。
  • 只有大脑,有三件事做不到:不知道新发生的事,看不到我的东西,动不了手。
  • 补上眼睛(上下文)和手脚(工具),再让它一圈圈转起来,就是 Agent。

这一版的小记:

小记 v0.1
有什么一个大脑(模型),一个 messages 列表
能做什么连续聊天,记得本次对话里说过的话
做不到不知道今天几号,看不到我的笔记,动不了任何文件

下一篇

我让小记数一数 notes 里有几篇笔记,它说“我无法查看你的文件”。

我可以自己把文件列表贴给它,可那样跑腿的还是我。怎么让它自己去看?模型只会输出文字,连文件夹都碰不到,所谓“调用工具”,到底是谁在调用?

下一篇给它装上手脚。

下一篇:手搓 Agent(二):长出手脚——工具调用和一个 while 循环