大模型是怎么产生智能的？智能可以定义为特定的「场景到行动」的策略。这个策略会通过人类活动痕迹留在无数地方，通过拟合这些人

首先定义什么是智能？

按照图灵测试的观点，如果隔着一个屏幕跟对方文字对话，如果通过这种方式无法区分对方是人还是机器，假设此时对方实际是机器，那么则可以说这个机器已经具备了人类的智能了。一般的说，就是当一个实体在面对各种场景（如：收到一段特定的话）的时候做出的行动（如：发出一段特定的话），如果与人类可能做出的行动无法区分，那么就认为这个实体具有人类智能了。因此可以用面对 场景（ $s$ ） 时做出 行动 ( $a$ ) 的 策略 ( $p$ ) 来定义智能。如果面对任意的场景，某个实体的行动策略 $p$ 与人类的策略 $p_{human}$ 无法区分，则认为它具备了人类智能。

为了便于后续表达，我们做这样一些记号：

人类可能面对的所有场景的集合记为 $S$ ，里面的一个具体场景记为 $s \in S$ 。

所有可能做出的行动的集合记为 $A$ ，里面的一个具体行动记为 $a \in A$ 。

面对 $S$ 中的每个场景选择 $A$ 中行动的策略的集合记为 $P=\{p: s \rightarrow a | s\in S, a \in A \}$ 。其中 $P$ 里面提到了 $S$ 中所有的场景： $Scenes(P)=S$ 。

如果某个实体的行动策略 $P=P_{human}$ ，那么就认为它具有人类智能。

面对一个相同的场景，按照人类智能采取的行动是有规律的。每个人采取的行动可能不同，但是如果对所有人做出统计，会发现他们的行动会收敛到某些个特定的行动上，而不是完全随机无规律。真正的人类智能应该是这个规律本身，正是这个规律支配着人们面对各种场景时如何采取行动。而这个规律体现在 $P_{human}$ 这个行动策略集合中。

例子

例如面对危险时，会有一大部分人想要退缩（回到面对危险前的场景），可能还有另一大部分人会想办法化解危险，还可能想大笑、害怕等等，可能还存在其他长尾行动；但是可能很少有想上班、想听歌、想吃饭这类行动。这些行动中存在着一些主流行动，而不是完全随机的。

人类智能如何传递到模型上的

人类的各种活动都是在这种规律的支配下产生的具体「场景-行动」。因此这些行动痕迹实际记录着人类智能的某个角度某个片段的支配轨迹（即 $P_{human}$ 的某个微小子集）。人类所有的行动痕迹则从各个方面各个角度记录着人类智能的支配轨迹，最终包裹出了人类智能的整体骨架（即：面对各种场景时，一般会如何采取行动的规律）。但是因为人类活动是一个有限集合，这个集合不可能把人类智能的方方面面都记录了，因此通过人类活动痕迹描绘出的规律智能是逼近规律本体，而不是规律本身。它与人类智能本身对应的规律是投影和本体的关系。

互联网内容是人类活动的一个重要领域，也是人类活动的一个重要保存者。现在这个时代，几乎所有的活动领域都可以在互联网上保存。可以理解为人类在互联网上留下的痕迹，是所有人类行动的一个抽样（记为： $P_{web} \sub P_{human}$ ），这个抽样同样也描绘出了人类智能规律的骨架。只是因为样本量是有限的，他所描绘出骨架与人类智能这个本体之间，也必然是有不同的。

模型是什么？简单来说模型就是一个拟合器，通过对大量的「场景-行动」对进行拟合，最终能实现给定一个场景 $s$ ，预测出一个符合样本规律的行动 $a$ 。如果这个拟合器的拟合效果足够好，当对大量的互联网样本进行拟合之后，互联网样本所描绘的人类智能规律也就能被这个拟合器掌握，即对应同一个场景，拟合器给出的预测行动，会跟互联网上的人类活动记录中的是相似的，通过图灵测试已经难以区分。此时我们则认为这个拟合器实际也已经掌握了人类智能的规律骨架了。

因此这个人类智能的传导链是：

graph TD

    subgraph 人类痕迹
    direction LR
    r(人类活动痕迹) -- 包含 --> w(互联网记录)
    w -- 包含 --> s(训练样本)
    end

i(人类智能: 规律) -- 支配产生 --> r
s -- 拟合 --> m(模型)

Note[模型拟合了人类智能规律]:::note
classDef note fill:#fff9c4,stroke:#f9a825,stroke-dasharray: 5 5,color:#333
Note -.- m

但是因为模型训练的样本往往是互联网上的全量人类活动痕迹的的一个子集（即： $P_{sample} \sub P_{web}$ ），而无法做到全集，因此训练出来的模型只能拟合出支配这些样本产生的部分规律。因此可以理解为模型具备的智能是人类智能的一个局部。同时因为样本量不是无限的，因此模型拟合出来的规律是逼近人类智能对应的规律。当逼近到一定程度，人就无法区分了。

大数定理：当试验次数足够多时，随机事件发生的频率会稳定在其真实概率附近，或者多个随机变量的平均值会趋近于它们的数学期望。因此：一个服从某种规律的随机变量大量重复后，这个规律将越来越接近支配这些随机变量变化的原始规律本体。正因为这个原因，人类智能支配产生的人类痕迹，才有了逆推出逼近人类智能（行动规律）本身的可能性。

智能的特性——泛化与幻觉

泛化，本质上就是按照既有规律行动，而不是按照那个参考答案行动。模型的拟合就是在发现这种规律，当有大量样本的时候，他会对这些样本统计性的操作，最终形成的拟合出的「场景-行动」之间的规律，此时给定一个「场景」，模型按照规律预测出的行动，跟训练该模型的样本中对应场景的那些条可能都不一样。

但是因为训练模型的样本本身是有限的，因此模型所拟合出的规律并非人类智能所对应规律的本体，而是个近似体，它可能会在非常多的细节上与原始规律不同。因此按照你和出来的规律预测的行动，可能与真实的人类行动不完全一致，形成一种似是而非的情况。这就形成了幻觉。（幻觉形成不止这一个原因，但是这个原因是信息传递过程中产生损失导致的必然原因。）