各位道友,欢迎回到《凡人AI修仙》。
上一节课,咱们干了一件大事:认识了 DeepSeek Harness 这件珍宝,还亲手做出了人生中第一个 AI 应用 ——「个人厨师顾问」。那一刻,你就已经从「灵根未启」的 AI 旁观者,正式踏进了「引气入体」的 AI 工具使用者。
但是道友,会用招式,不等于有内功。
视频: player.bilibili.com/player.html…
开场:三个让你心里「咯噔」一下的现象
在正式开始之前,我先问你几个问题。你只要用过一段时间的大模型,下面这三种情况,你大概率都遇到过:
第一种:同一个问题,你问 AI 两遍,它给你的答案居然不一样。
第二种:你让它写个东西,它写得头头是道,但你仔细一读,有一句话是编的、是假的。
第三种:你跟它聊到一半,它突然就忘了你前面说过什么。
这个时候,你心里是不是会「咯噔」一下 —— 这玩意儿到底靠不靠谱?它到底是怎么想的?
今天这节课,我就把大语言模型的内功心法,一层一层扒开给你看。看完之后,上面这三个现象,你自己就能解释;而且你还会知道,怎么用它的「脾气」去对付它。
这节课信息量很大,建议你倒一杯茶,坐下来慢慢听。我们开始。
一、AI 的四次大版本更迭:从「人写规则」到「机器自己悟道」
要理解今天的大模型为什么这么强,咱们得先把时间轴拉长。
AI 发展到今天,其实只经历了四代。这四代,你可以理解成一条主线 —— 人类插手得越来越少,机器自己悟得越来越多。
先给你一张总览表,把四代的关键信息一次摆清楚:
| 代际 | 名称 | 时间 | 核心思路 | 一句话概括 |
|---|---|---|---|---|
| 第 1 代 | 规则与符号 AI | 1950s ~ 1980s | 人类把知识写成代码规则 | 你写多少,它会多少 |
| 第 2 代 | 机器学习 | 1980s ~ 2010s | 人类「划重点」,AI 学规律 | 上限 = 人划重点的能力 |
| 第 3 代 | 深度学习 | 2010s ~ 2020s | AI 自己逐层提取特征 | 大力出奇迹,暴力试错 |
| 第 4 代 | 大语言模型 | 2020s ~ 今天 | 预测下一个词 | 读遍人类全书的全科通才 |
注意看这条主线:
- 第一代,人类把知识写死;
- 第二代,人类告诉它看哪里;
- 第三代,人类只给它数据;
- 第四代,人类连数据都只是喂给它,它自己悟。
人类一步一步往后退,机器一步一步往前走。这,就是 AI 进化的主线。
下面咱们把每一代都掰开揉碎了看。
1.1 第 1 代:规则与符号 AI —— 人类把知识写成代码规则
第一代的做法特别像什么?特别像你给一个新来的实习生写工作手册。
你把所有情况都想到,一条一条写下来:
如果下雨,就带伞。
如果温度大于 30 度,就开空调。
如果客户问价格,就报八折。
写完交给它,它照着执行。
这一代 AI 的优点是:听话、精确、不会乱来。你写多少规则,它就会多少东西。
但它的致命问题也在这儿 —— 你没写过的,它一概不会。
我给你举个特别典型的例子。上世纪有个很有名的程序叫 ELIZA(伊莉莎) ,它假装是个心理医生,你说什么它都能接上话。但它的原理其实特别简单,就是把你的话反过来问一遍:
你说:「我最近很焦虑。」
它说:「你为什么最近很焦虑?」
你说:「我跟女朋友吵架了。」
它说:「跟我说说,你跟女朋友吵架是怎么回事?」
你看,它看起来在跟你聊天,其实它一句都没听懂。它就是一套规则在跑。
这就是第一代 AI 的天花板:它是一个只会背手册的机器人,手册之外,一片空白。
1.2 第 2 代:机器学习 —— 人类「划重点」,AI 学规律
到这儿人类就想:我能不能不写规则,让机器自己从数据里学?
于是有了第二代 —— 机器学习。这一代的做法变了,不再写规则,改成划重点。
什么意思呢?我给你打个比方:
- 第一代是你给实习生写手册;
- 第二代是你带实习生。
你不写手册了,你拿一堆案例给他看,然后告诉他:「你重点看这几个地方。」
比如你要让它认猫,你就告诉它:猫有尖耳朵、有胡须、脸是圆的。你把这几个特征给它划出来,让它自己去看大量的照片,自己总结规律。
你看,这就有进步了,机器开始自己学东西了。但是注意 —— 重点,还是人划的。
这就是第二代的关键,也是它的天花板。因为重点是人划的,人没划到的,机器就看不见。
我举个例子你就明白了。假设你划了三个重点:尖耳朵、有胡须、圆脸,没划尾巴。那结果是什么?
- 来了一只没有尾巴的猫,它就懵了;
- 来了一只圆脸尖耳朵的玩具熊,它也认成猫。
因为它的世界里,只有你划的那三个重点。
所以一句话:第二代 AI 的能力上限,就是人划重点的能力上限。你划得准,它就准;你划漏了,它就瞎。
1.3 第 3 代:深度学习 —— AI 自己逐层提取特征
那怎么办?能不能不划重点,让它自己看?
于是有了第三代 —— 深度学习。这一代最大的突破就是:不用人划重点了。
你把原始数据直接喂给它,它自己从最底层开始,一层一层往上抽象。
还是认猫这个例子。深度学习怎么做?
- 它直接把一百万张猫的照片,一个像素一个像素地喂进去,什么重点都不划;
- 然后神奇的事发生了 —— 网络的第一层,它自己看到的是边缘和形状;
- 第二层,它把边缘和形状组合起来,看到了耳朵的轮廓,看到了毛茸茸的质感;
- 再往上,它把这些组合成一张完整的猫脸;
- 到最后输出层,它说:「这是猫。」
全程没有任何人告诉它该看哪里,它自己悟出来的。
所以我说,深度学习约等于:一个没有教科书、全靠刷海量真题总结出隐性套路、但自己又说不出套路是什么的超级做题家。
但是道友,这里有个问题你要注意:它没有逻辑推理。 它靠的是大力出奇迹 —— 海量数据,加上多层计算的暴力试错。
这一点特别重要,记住它,后面理解大模型全靠这个。它就像那个做了十万道题的学生,题他都会做,但你问他为什么这么做,他说不出来。
1.4 第 4 代:大语言模型 —— 读遍人类全书的全科通才
好,到了第四代 —— 大语言模型,咱们今天的主角。
前面三代:第一代处理规则,第二代处理特征,第三代处理图像和语音。那第四代处理什么?处理语言。
你想想,语言这个东西有多厉害。数学、物理、历史、法律、编程、写诗、写情书 —— 人类所有的知识,最后都要用语言表达出来。
所以当机器真正学会了语言,它等于同时学会了所有科目。这就是为什么大模型看起来无所不能。它不是专门学了很多门课,它是学会了那门所有课都要用的工具 —— 语言。
而它学习的方式,你可能想不到,简单到有点离谱。它的核心动作只有一个:
预测下一个词。
它读完人类几乎所有公开的文字,然后学会了一件事 —— 给定前面这段话,下一个词最可能是什么。
就这么一个动作,做到极致之后,居然涌现出了推理和泛化能力。注意这个词 —— 涌现,后面我会专门用一节给你讲清楚它。
好,这四代咱们过完了。一句话总结:
从人写规则,到人划重点,到机器自己提特征,再到机器自己悟道。
人类插手得越来越少,机器自己悟的越来越多。
这就是 AI 进化的主线。
二、机器学习 vs 深度学习:一个「识别猫」的例子,一看就懂
刚才说的第二代和第三代,到底差在哪?我用一个识别猫的例子,放在一页上,让你一眼就看出区别。
左边是传统机器学习,我给它起了个外号,叫 「划重点的考生」。它的流程是这样的:
- 输入:一张猫的照片;
- 特征工程(最关键的一步,人来干) :工程师先划重点 —— 尖耳朵、有胡须、圆脸。然后告诉机器:「你就盯着这三个特征,去算概率」;
- 统计模型一算:符合尖耳朵 ✓、符合胡须 ✓、符合圆脸 ✓ → 得出结论:是猫,置信度 85% 。
看起来挺像回事,对吧?但这里有一个致命的问题 —— 人类没提尾巴,AI 就不看尾巴。 如果来了一只没有尾巴的猫,或者来了一只毛茸茸的、圆脸尖耳朵的玩具熊,它就懵了。
右边是深度学习,我给它起的外号是 「自己悟道的天才」。同样是认猫,它的做法完全不一样:
- 输入:直接把一百万张猫照片的原始像素,一股脑喂进去,没有特征工程,没有人划重点;
- 网络自己逐层组合:第一层看到边缘和形状 → 再深一层看到耳朵和毛茸茸的质感 → 最后输出:是猫。
全程没有任何人告诉它该看哪里,它自己悟出来的。
所以你看:
- 左边这个,能力上限取决于「人划的重点」;
- 右边这个,能力上限取决于「数据量和算力」。
这就是从第二代到第三代,最本质的变化。
三、大语言模型的三块基石:算法 · 数据 · 算力,缺一不可
好,现在咱们把镜头拉回到第四代 —— 大语言模型。
一个大语言模型,本质上就是三样东西凑在一起:
| 基石 | 是什么 | 修仙类比 |
|---|---|---|
| 模型算法 | 核心架构叫 Transformer,一个模拟人类大脑的神经网络架构 | 它的功法 |
| 海量数据 | 人类历史以来产生的、万亿级别的词汇 | 它的丹药 |
| 超级算力 | 深度神经网络思考时,需要的计算量是天文数字 | 它的炉火 |
注意「海量数据」这一项 —— 是人类历史以来。它读的东西,比任何一个人一辈子能读的,多出不知道多少个数量级。
你可以这么理解:
算法,是它的功法;数据,是它的丹药;算力,是它的炉火。
三者缺一不可。
只有功法没有丹药,炼不出东西;
只有丹药没有炉火,火候不够;
只有炉火没有功法,那是瞎烧。
这三样东西凑齐了,才有了今天的大模型。
但是道友,这里有一个巨大的疑问:
一个神经网络,说到底就是一堆矩阵乘法,一堆加减乘除。它凭什么就懂了呢?
这个问题,就是接下来的全部内容。
四、它凭什么显得有「智慧」?—— 答案只有两个字:预测
我们为什么会觉得大语言模型拥有了智慧?答案只有两个字 —— 预测。更准确地说,是预测下一个词。
我先别急着讲原理,咱们先做一个小实验,你跟着我一起做。
你现在心里想一句话,随便什么都行。比如:
今天天气真 ____
你脑子里蹦出来的下一个字是什么?是不是 —— 好。
好,那再来一个:
床前明月 ____
下一个字是什么?光。
你根本不用想,它自己就跳出来了,对吧?
你再想想,我刚才这个过程,我有没有推理?没有。我就是把前面几个字看到,下一个字自动就浮出来了。
好,记住你刚才这个感觉。因为大模型干的事,跟你刚才干的事,本质上是一模一样的。它也是一步一步、一个字一个字往外蹦的。
4.1 预测机器:一个字一个字往外蹦
我给你现场演示一遍,你马上就懂了。
假设你问它一个问题:
你好,请问夏天 37 度,我应该穿什么衣服出门?
注意,模型不是一下子把整句话想出来的。它是一步一步来的。
第一步,它看到前面这一整句话,然后计算下一个字是什么。它给出的答案是:
应 77%
可 12%
我 5%
不 3%
哈 2%
啥 1%
它选了 应。
第二步,把「应」这个字接到后面,它再算下一个字。这次:
该 67%
...
它选了 该。
第三步,前面变成了「应该」,再算下一个字。这次「穿」的概率高达 87% ,它选了 穿。
然后接着是 —— 什么、衣服。
你看明白了吗?它每一次只做一件事:在已知前面所有内容的前提下,算出下一个字最可能是什么。
就这么简单。但它把这件事做了几千次、几万次,一句完整的话就出来了。
这就像什么?就像一个说书人 —— 他不是背好了整段书,而是每说一个字,都在脑子里飞快地算:「下一句最顺口的是什么?」然后一句接一句,一个故事就讲完了。
所以所谓智慧,就是这么一步步接出来的。
五、它为什么会「发挥不稳定」?—— 随机采样
好,讲到这儿,咱们回到开场我问你的第一个问题:为什么同一个问题问两遍,答案不一样?
现在你自己就能解释了。
因为模型不是每次都死板地选概率最高的那个字。它会按概率去抽签 —— 概率高的抽中几率大,但概率低的,也有机会被抽中。
这个东西叫 —— 随机采样(Sampling) 。
我打个比方。假设你有两个盒子:
- 第一个盒子:99 个红球 + 1 个白球;
- 第二个盒子:50 个红球 + 50 个白球。
现在让你抽一个球。第一个盒子,你几乎肯定抽到红球,但也可能抽到白球;第二个盒子,那就全看运气了。
「温度(Temperature)」这个参数,控制的就是这个。
| 温度 | 效果 | 性格 | 适用场景 |
|---|---|---|---|
| 调低 | 倾向于选概率最高的字,回答单一、冷静 | 严谨的理科生 | 写代码、算数学,要准确 |
| 调高 | 概率分布更均匀,敢冒险,回答多样、发散 | 脑洞大开的艺术家 | 写文案、想创意,要发散 |
你可以把它理解成理性和感性的旋钮:
- 温度往低拧,它就是一个严谨的理科生,问它十遍,答案都差不多;
- 温度往高拧,它就是一个脑洞大开的艺术家,问它十遍,十个答案。
所以你看,同一个模型,调一个参数,性格就变了。这就是为什么,你在做不同的事情的时候,要给它不同的温度。
5.1 它为什么会「一本正经地胡说」?—— 幻觉
那咱们再回到开场我问你的第二个问题:为什么它写得头头是道,但有一句是编的?
这个现象有个专门的名字,叫 幻觉(Hallucination) 。
为什么会有幻觉?你想通刚才的原理,你自己就能解释。
因为它的目标从头到尾只有一个 —— 让下一个字最顺口。它的目标不是让这句话最真实,而是让这句话最像人话。
这两件事,大部分时候是重合的,所以它看起来大部分时候是对的。但在它不知道的地方,它也会挑一个最顺口的字接上去。
它不是在撒谎,它是根本不知道自己在编。
我再打个比方。它就像一个特别会说话的人 —— 你问他任何问题,他都能接得特别顺,但你没法判断他到底懂不懂。
所以你用大模型的时候,一定要记住一条:
它给你的是最顺口的答案,不是最正确的答案。关键的事实,你要自己去核实。
这不是它不好用,这是它的原理决定的。你懂了原理,你就不容易被它坑。
六、为什么「应」的概率是 77%?—— 答案藏在两个字里:向量
好,咱们把刚才那个演示,再往下挖一层。我要问一个更深的问题了。
为什么「应」这个字的匹配度,能有 77% 这么高?它凭什么知道这里该接「应」?
你想想看,如果是你来算,你怎么算?你大概会说:「因为前面有『我应该』这三个字,这是一个固定搭配。」
好,那问题来了:机器不认识汉字,它怎么知道这是固定搭配?
答案就藏在两个字里 —— 向量(Vector) 。
那接下来,咱们就把「向量」这个东西,彻底讲明白。
6.1 什么是向量?从一个坐标系说起
咱们先从头讲,什么是向量。听起来挺玄的对吧,其实特别简单,画个图你就懂了。
你看这个坐标系:横着这条叫 x 轴,竖着这条叫 y 轴。
我现在在 (2, 2) 这个位置放一个点,再在 (3, 2) 这个位置放一个点。
那问题来了:从 (2, 2) 走到 (3, 2),你要做什么?
很简单,往右走一格。
好,那这个「往右走一格」,就是向量。它的写法是这样的:
(3, 2) − (2, 2) = (1, 0)
你看这个结果 (1, 0) 是什么意思?x 方向加 1,y 方向加 0。 翻译成人话就是:往右走一格,上下不动。
所以你看,向量这个东西,它描述的就是 —— 从一个点到另一个点,走的方向和距离。方向是往右,距离是一格。这就是一个向量。
是不是一点都不玄?
6.2 升到三维:多一个方向
那刚才咱们看的是二维的,平面上两个轴。现在我们升到三维,就是再加一条轴 —— z 轴,你可以理解成前后。
同样是两个点相减,比如说,从 (2, 2, 1) 走到 (3, 2, 2),减一下:
(3, 2, 2) − (2, 2, 1) = (1, 0, 1)
你看:x 方向加 1,y 方向不动,z 方向加 1。翻译成人话就是:往右走一格,再往前一格。
道理跟二维一模一样,只是多了一个方向。
所以你别觉得维度多了就变难了,它的逻辑从头到尾都是同一件事 —— 描述从这儿到那儿,往哪个方向走、走多远。
6.3 从三维到一万两千维:文字的坐标
好,那现在问题来了。二维我们理解了,三维我们也理解了。那如果是 12288 维呢?
你肯定想象不出来,我也想不出来。但这不重要,重要的是你理解那个逻辑。
维度越多,意味着什么?意味着描述得越精确,定位越准。
我打个比方。你要形容一个人:
- 只用「高矮」一个维度,那全世界几十亿人,全挤在一条线上,谁跟谁都差不多;
- 给你两个维度,高矮 + 胖瘦,大家就在一个平面上散开了;
- 再加年龄、收入、学历、性格、爱好 —— 维度越多,每个人在这个空间里的位置就越独一无二,你一眼就能把他找出来。
所以你看,文字也是这样。
一个词,或者说一个 Token,在机器眼里不是两个字,而是一长串坐标数字。比如「今天」这个词,可能被算成:
今天 → (1.0, 3.0, 30.0, 78.0, ...) ← 一长串数字
天气 → (0.5, 2.1, 45.0, 12.0, ...) ← 又是另一长串
风和日丽 → (0.8, 1.9, 88.0, 33.0, ...)
你想想看,一句话里有多少个词,就有多少串坐标。这些坐标,就是这段文字在机器眼里的 「位置」。
理解了这一点,你就理解了最关键的一步:
机器眼里没有文字,只有坐标。
所以「语义匹配」这件事,就变成了「坐标位置的匹配」。
这一下就好理解了,对吧?
6.4 语义搜索:就是在坐标系里找点
那咱们现在就用刚才那个坐标系,演示一下大模型是怎么做语义搜索的。
假设我们现在想找一部电影,但我们不知道它叫什么名字,只记得几个关键词。
- 第一个关键词:「电影」。好,机器就拿着这个坐标,在整个空间里划出一大片区域,所有跟电影沾边的,都进来了。这时候范围还很大,什么电影都算;
- 第二个关键词:「动画片」。范围缩小了,剧情片、纪录片这些,全部被排除出去;
- 第三个关键词:「有龙标」。范围又缩了一圈,只剩合规上映的;
- 第四个关键词:「两个人纯手搓」。范围再缩,最后锁定到一个点上。
你看这个过程,像不像你在地图上找一个地方?先定城市,再定街道,再定门牌号,最后锁定到一栋楼。
语义搜索跟这个,本质上是一模一样的。 它就是在高维空间里,用一个个关键词,一层一层地把范围收窄,最后找到那个位置最接近的点。
所以你现在明白了吧 —— 为什么大模型能「理解」你的意思?因为它把你的意思变成了一串坐标,然后去找坐标最接近的那些词。
6.5 Token:机器眼里的「语言积木」
那具体是怎么做的呢?分两步。
第一步,把人类的自然语言文字,拆分成一个个片段。 这些片段,叫做 Token(词元) 。
注意,Token 不一定是一个字,也可能是一个词、半个词,甚至是标点。
我举个例子。你写一句话:「今天天气真好。」 机器不会把这五个字当成一个整体,它会切成几块:
可能切成:今天 / 天气 / 真 / 好
也可能切:今 / 天 / 天气 / 真 / 好
不同模型切法不一样。
为什么要切? 因为语言太灵活了,你不可能给每一个完整的句子都准备一个坐标,那无穷无尽了。但如果你把语言拆成有限的小积木,那所有的句子,都是这些小积木拼出来的。
第二步,每一个 Token 经过模型计算,得到一个数组。 这个数组,就是它的向量坐标。比如:
你好 → (2.0, 6.0, 10.0, 128.0, 6.0, ...)
今天、的、天气、风和日丽 —— 每一个,都有自己的一串数字。这串数字,就是这个词在机器眼里的灵魂。
七、自注意力:它怎么读懂上下文
但是光有坐标还不够。因为同一个词,在不同的句子里,意思是不一样的。
我给你举一个例子。这句话是:
「有一个电影,是一个动画片,具有合规龙标,只有两个人纯手搓制作。」
现在我把「电影」这个词拎出来。你说,模型理解到的「电影」,是什么电影?
它会结合后面所有信息 —— 动画片、有龙标、两个人纯手搓 —— 综合判断。它不会只盯着「电影」这两个字。
这个能力,叫做 Self-Attention(自注意力机制) 。
它的作用是:让模型能够更高效地根据上下文信息,去处理每一个 Token,理解它真正的含义。
简单说,就是眼观六路。每读到一个词,它都会回头看看前面所有的词,再往前看看后面的词,然后判断:在这个语境里,你到底是什么意思。
我再举个例子 —— **「苹果」**这个词:
| 句子 | 「苹果」的意思 | 向量坐标 |
|---|---|---|
| 我今天买了一个苹果 | 水果 | 坐标 A |
| 苹果今天发布了新手机 | 公司 | 坐标 B |
同样两个字,向量算出来的坐标完全不一样。 这就是自注意力干的事。
7.1 完整的思考回路
这一步做完,模型就真正理解了这句话的含义。
那理解了含义之后呢?它就可以推测出 —— 与当前语句含义最接近的下一个词,概率是多少。这就达到了预测和智慧的效果。
所以你看这个链条:
第一步:文本变成向量(Vectorize)
↓
第二步:通过自注意力理解上下文(Self-Attention)
↓
第三步:预测下一个词(Predict Next Token)
一环扣一环,这个就是大模型的思考回路。
你把这个回路记住了,大模型对你来说就没有秘密了。
八、向量的魔法:语义可以加减乘除
好,那既然文字都变成坐标了,接下来这件事就顺理成章了 —— 坐标能干什么?能做加减法,对吧。
那我们大胆一点:拿词来做加减法,会发生什么?
我给你看一个特别经典的例子,当年这个例子震惊了很多人。
我们知道:男人和女人是一对,理性和感性是一对,力量和温柔也是一对。那现在,我们做三件事:
第一件:男人 − 女人
第二件:理性 − 感性
第三件:力量 − 温柔
三组减完,我们把结果画到同一个坐标系上。你注意看这个方向 —— 三个箭头,指的方向几乎是完全一样的。
这说明什么?
说明这三组词,虽然意思差得很远,但它们相减之后,减出来的那个方向,代表的是同一件事 —— 就是「男性化」这个语义的偏移方向。
换句话说:模型自己从海量的文本里,悟出了「性别」这个抽象概念。
没有任何人告诉它什么是性别,它是自己算出来的。 你看,这件事是不是有点意思?
8.1 点睛之笔:用方向反推出答案
那刚才那个方向,有什么用?我现在给你出个题,你就知道它有多厉害了。
假设我们事先算好了「感性 − 理性」这个向量,它就是一个方向。现在我给你一个词 ——「女人」。
我问你:能不能用这个方向,把「男人」找出来?
你可能觉得这不可能,但答案是 —— 可以。
怎么找?很简单:
女人 + (感性 − 理性) = ?
你把「女人」这个坐标,加上刚才那个方向,沿着这个方向走一段,走到的地方,就是「男人」。
你看,这不就是小学数学吗?已知起点,已知方向,求终点。
但神奇的地方在哪?
神奇的地方在于:这个方向,是我们从「理性」和「感性」这一对词里算出来的,跟男人女人一点关系都没有。可是把它加到「女人」身上,居然就找到了「男人」。
这就说明,大模型眼里的语义空间是有结构的。它不是一堆散乱的点,而是一个有方向、有规律的空间。
你掌握了这个结构,你就能在这个空间里做运算。这也是为什么,大模型能做那么多看起来「很聪明」的事 —— 它的底层,就是这个。
九、涌现:量变引起质变
好,那现在我要抛出这节课最核心的问题了。
人工智能,说到底无非就是向量匹配,就是算概率,就是加减乘除。那问题来了 —— 它为什么现在感觉无比智能,甚至无所不能?
咱们回到刚才那张四代更迭的图。第一代,人写规则;第二代,人划重点;第三代,机器自己提特征;到了第四代,大语言模型 —— 这里面,发生了一件谁也没想到的事。
我先说一个背景:Transformer 这个架构,最早是用来干嘛的? 是用来做语义翻译的。对,就是翻译,中译英,英译中。它一开始,根本没想过要去做推理、做分析。
但是,当模型规模和训练数据量,突破某个临界点之后,模型突然就开光了:
- 它突然会理解人类语言了;
- 它突然会推理了;
- 它突然会分析了。
这个现象,有一个专门的名字,叫做 涌现(Emergent Abilities) 。
那涌现是什么意思?就是,量变引起质变。
你把规模堆到一定程度,它不是多会一点点,而是突然多会了一大类。能力不是线性增长的,是突然跳上去的。
就像水,从 99℃ 到 100℃,看起来只差一度。但99℃ 是水,100℃ 是蒸汽。性质完全变了。
大模型就是这样:深度学习 → 超大规模的语言模型 → 大语言模型。跨过那道线之后,它就不一样了。
9.1 涌现给我们的启发
那涌现这个概念,对咱们实际用 AI,有什么启发?我给你三条。
第一条,别再纠结它是不是真的理解了。
争论它有没有意识,没有意义。重要的是,它在什么条件下会表现出能力,在什么条件下会犯傻。你要当它是工具,不是当它是人。
第二条,规模是有意义的。
很多人说,模型都差不多,用哪个都一样。不是的。 在临界点之前,多一点点规模,效果差不了多少。但跨过临界点,就是质的差别。所以选模型的时候,要选跨过线的那一档。
第三条,也是最重要的,涌现是不可预测的。
你不知道它下一次会突然多会什么。所以你要保持好奇,保持试。今天它不会的事,可能下个版本它就会了。
这就是为什么,AI 这个领域,你一停下来,就被落下了。
十、一个真实的实验:果蝇的数字大脑
最后我想跟你聊一个真实的科学实验,我觉得它特别能说明问题。
先说果蝇是什么 —— 你家里放久了的水果旁边飞的那种小虫子,就是果蝇,特别小,比米粒还小。
但你别小看它,它是生物学界研究得最透的动物之一,科学家把它的神经系统,几乎研究到了每一个神经元。
然后科学家做了一件事:
他们把果蝇的神经系统,一比一地在计算机里复刻了出来,做了一个数字大脑。
注意,不是模拟,是复刻 —— 每一个神经元、每一条连接,都照着真的来。
然后你猜怎么着?
这个数字大脑,接上虚拟的身体之后,它动了。
- 它产生了肢体动作,和现实里的果蝇一模一样;
- 你给它一个刺激,它躲开的方式跟真果蝇一样;
- 它走路、理毛、飞行,全都是真的果蝇会做的动作。
那问题就来了:
那个数字果蝇,它有意识吗?它在计算机里「活着」吗?
我们不知道。
我们只看到:一堆数字、一堆连线,产生了和生命一模一样的动作。
这跟我们今天讲的大语言模型,其实是同一件事:一堆矩阵乘法,一堆加减乘除,规模到了一定程度,突然就涌现出了推理和分析的能力。我们同样不知道它为什么会有。
十一、尾声:意识与智慧
那这一切说明了什么?
我想用两个问题来结束今天的课。这两个问题没有标准答案,但我觉得,作为一个 AI 修仙者,你应该想一想。
第一个问题:大语言模型的涌现,是不是计算机科学领域打开了「上帝的禁区」?
我们人类用一堆加减乘除,造出了一个会推理、会分析的东西,而它到底是怎么会的,我们自己也说不清楚。
第二个问题:意识和智慧,是不是就是数据的精密排列组合?
一堆数字能复刻出果蝇的动作,一堆矩阵能涌现出推理能力。那我们引以为傲的意识和智慧,会不会也只是某种更复杂的排列组合?
我不知道答案。
但我觉得,能问出这个问题,本身就是一件很了不起的事。
本篇总结:五句话记住这节课
好,今天的课就到这里。咱们把今天的东西收一收。五句话,你记住就够了:
第一,AI 经历了四代:从人写规则,到机器自己悟道。
第二,大模型的核心动作只有一个:预测下一个词。
第三,它的不稳定和幻觉,都来自同一个原因:它在追求顺口,不是追求真实。
第四,文字在机器眼里是坐标,语义匹配就是坐标匹配,所以能做加减乘除。
第五,它的推理能力来自涌现:量变引起质变。
再把这张「大模型内功心法」的全景图放在一起,方便你随时回看:
| 环节 | 关键概念 | 一句话理解 |
|---|---|---|
| 输入 | Token | 把文字切成有限的小积木 |
| 表示 | 向量 | 每个词变成一串坐标数字 |
| 理解 | 自注意力 | 结合上下文,判断这个词真正的意思 |
| 运算 | 向量加减 | 语义空间有方向,可以做加减乘除 |
| 输出 | 预测下一个词 | 一步一个字,接出一整句话 |
| 性格 | 温度 | 调低像理科生,调高像艺术家 |
| 缺陷 | 幻觉 | 只追求顺口,不追求真实 |
| 奇迹 | 涌现 | 规模跨过临界点,能力突然跳上去 |
下节预告
下一节课,我们会从原理回到实战,讲一讲 AI Agent 到底是什么,它是怎么调用工具、怎么和外部世界打交道的。
我是刘丹冰 Aceld,我们下节课,不见不散。