人工智能的数学基础-三-

因此我们有：

P r o b intervened ( x 1 , x 2 , ⋯ , x n ) = Π i≠j n P r o b ( x i | p a r e n t s ( X i ) ) if x j = x * 0 otherwise

调整公式

我们真正关心的是设置X j = x *如何影响网络中每个其他变量的概率，并且我们希望从原始未干预的网络中计算这些值：用数学术语来说，没有 do 运算符，因为我们可以观察数据来获取这些值，而不是进行新实验。

为此，我们引入调整公式，或者，控制混杂因素（可能的共同原因）：这是X j及其父节点对X i影响的加权平均值。权重是父节点值的先验概率：

P r o b ( x i | d o ( X j = x ) ) = P r o b intervened ( X i = x i ) = ∑ parents(X j ) P r o b ( x i | x , p a r e n t s ( X j ) ) P r o b ( p a r e n t s ( X j ) )

注意，上述公式实现了我们消除do运算符的目标，并使我们重新通过观察数据而不是运行一些昂贵的干预实验或随机对照试验来找到我们的条件概率。

背门标准，或控制混杂因素

因果图表的故事还有更多。我们想知道对图表中某个下游变量的干预d o ( X j = x )的效果。我们应该能够对图表中另一个祖先的值进行条件处理：这也导致我们关心的下游变量。在因果建模中，我们称这个过程为阻断背门或背门标准*：

P r o b ( x downstream | d o ( X j = x ) ) = P r o b intervened ( X downstream = x downstream ) = ∑ anscestor(X downstream ) P r o b ( x downstream | x , a n s c e s t o r ( X downstream ) ) P r o b ( a n s c e s t o r ( X downstream ) )

控制混杂因素

科学家和统计学家预测干预效果的最常见方法，以便他们可以对因果关系进行陈述，是控制可能的共同原因或混杂因素。图 11-3 显示了变量 Z 作为 X 和 Y 之间怀疑的因果关系的混杂因素。

图 11-3. Z 是 X 和 Y 之间怀疑的因果关系的混杂因素。

这是因为，一般来说，混杂是观察和干预之间的混淆的主要来源。这也是著名的相关不意味因果的来源。在这里，我们看到一些奇怪而有趣的例子：高温是冰淇淋销售和鲨鱼袭击的混杂因素（但为什么有人会研究冰淇淋和鲨鱼之间的任何关系呢？）。背门标准和调整公式轻松解决了混杂因素对因果关系的规定的障碍。

如果我们确信已经获得了足够的deconfounder变量集合的数据来阻止干预和结果之间的所有背门路径，我们可以使用调整公式来控制混杂因素。为此，我们从数据中逐层估计因果效应，然后计算这些层的加权平均值，其中每个层根据其在人口中的普遍程度进行加权。

现在没有了背门标准，统计学家和科学家就无法保证任何调整是合法的。换句话说，背门标准保证了 deconfounder 的每个分层中的因果效应实际上是该分层中的观察趋势。

是否有更多的规则可以消除 do 运算符？

能够将我们从具有 do 运算符（干预）的表达式转换为没有 do 运算符（观察）的表达式的规则非常可取，因为它们消除了干预的需要：它们使我们能够通过纯粹的数据观察来估计因果效应。调整公式和背门标准确实为我们做到了这一点。

是否有更多的规则？更雄心勃勃的问题是：是否有一种方法可以事先决定某个因果模型是否适合于消除 do 运算符，以便我们知道模型的假设是否足以从观测数据中揭示因果效应而无需任何干预？了解这一点是巨大的！例如，如果模型的假设不足以消除 do 运算符，那么无论我们多聪明，都无法避免进行干预实验。另一方面，如果我们不必干预就能估计因果效应，那么节省是惊人的。这些本身就值得更深入地研究概率因果建模和 do 微积分。

为了理解朱迪亚·珀尔的 do 微积分，我们总是从因果图开始，考虑导致删除指向或指出感兴趣变量的边缘的条件。珀尔的三条规则给出了以下条件：

1. 我们可以插入或删除观察：

   P r o b ( y | d o ( x ) , z , w ) = P r o b ( y | d o ( x ) , w )

2. 我们可以插入或删除干预：

   P r o b ( y | d o ( x ) , d o ( z ) , w ) = P r o b ( y | d o ( x ) , w )

3. 我们可以用观察替换干预：

   P r o b ( y | d o ( x ) , d o ( z ) , w ) = P r o b ( y | d o ( x ) , z , w )

有关 do 微积分的更多详细信息，请参见例如《重新审视 do 微积分，朱迪亚·珀尔，主题演讲，2012 年 8 月 17 日》。

悖论和图表解释

人工智能代理需要能够处理悖论。我们都看过卡通片，其中一个机器人陷入疯狂的循环，甚至在逻辑遇到悖论时自行拆卸，螺丝和弹簧四处飞溅。我们不能让这种事情发生。此外，悖论经常出现在非常重要的领域，比如制药和医学领域，因此我们必须在数学的视角下仔细审视它们，并仔细揭开它们的神秘面纱。

让我们来看看三个著名的悖论：蒙蒂霍尔、伯克森和辛普森。我们将通过图表和因果模型来看待它们：蒙蒂霍尔和伯克森类型的悖论由于碰撞器而导致混淆，而辛普森类型的悖论由于混杂因素而导致混淆。人工智能代理应该配备这些图表作为其数据结构的一部分（或具有构建和调整它们的能力），以便进行正确推理。

朱迪亚·珀尔的《为什么之书（2020）》完美地表达了以下观点：

悖论反映了因果和关联之间的紧张关系。这种紧张关系始于它们站在因果阶梯的两个不同梯级上[观察、干预、反事实]，并且由于人类直觉遵循因果逻辑，而数据符合概率和比例逻辑，这种紧张关系变得更加严重。当我们将在一个领域学到的规则错误地应用到另一个领域时，悖论就会产生。

蒙提霍尔问题

假设你参加一个游戏节目，有三扇门供你选择。其中一扇门后面是一辆汽车，其他的是山羊。你选择了一扇门，比如#1，主持人知道门后面是什么，打开了另一扇门，比如#3，里面有一只山羊。他对你说：“你想换门选#2 吗？”你改变选择门有利吗？

答案是是的，换门，因为如果不换门，你得到汽车的概率是 1/3，而换门后，概率就跳到了 2/3！这里需要注意的主要事情是主持人知道汽车在哪里，并选择打开一个他知道里面没有汽车的门。

那么，如果我们从最初的选择中换门，为什么赢得的概率会翻倍呢？因为主持人提供了新信息，只有在我们从最初没有信息的选择中换门时才会利用这些信息：

在不换门策略下

• 如果我们最初选择了赢得的门（概率为 1/3），并且不换，那么我们就赢了。

• 如果我们最初选择了一个失败的门（概率为 2/3），并且不换，那么我们就输了。

这意味着在不换门策略下，我们只会赢得 1/3 的时间。

在换门策略下

• 如果我们最初选择了赢得的门（概率为 1/3），并且从中换门，那么我们就输了。

• 如果我们最初选择了一个失败的门（概率为 2/3），新信息指向另一扇失败的门，我们换门，那么我们会赢，因为剩下的唯一一扇门就是赢得的门。

这意味着在换门策略下，我们会赢得 2/3 的时间。

当我们在图 11-4 中绘制这个游戏的图表时，我们意识到主持人选择打开的门有两个指向它的父母：你选择的门和汽车的位置。

图 11-4。蒙提霍尔悖论涉及的变量的因果图。

在这个碰撞器上进行条件处理会改变父母的概率。它在最初独立的父母之间创建了一种虚假的依赖关系！这类似于我们在遇到他们的孩子后改变对父母遗传特征的信念。这些是无因果关系的相关性，在我们对碰撞器进行条件处理时引起。

现在假设主持人在不知道自己选择的门是赢得还是失败的门的情况下选择了门。那么换门或不换门都不会改变赢得汽车的几率，因为在这种情况下，你和主持人都有相等的机会，1/3 的时间赢得，2/3 的时间输掉。现在当我们为这个完全随机且没有先验知识的游戏绘制图表时，汽车的位置和主持人选择打开的门之间没有箭头，因此在主持人的选择条件下，你选择的门和汽车的位置仍然是独立的。

伯克森悖论

*1946 年，梅奥诊所的生物统计学家约瑟夫·伯克森指出了在医院环境中进行的观察性研究的一个特殊之处：即使两种疾病在整体人群中没有关联，它们在医院患者中可能会出现关联。1979 年，麦克马斯特大学的大卫·萨克特，一个各种统计偏差的专家，提供了强有力的证据证明伯克森悖论是真实的。在一个例子中，他研究了两组疾病：呼吸系统和骨骼。大约 7.5%的人口患有骨骼疾病，这个百分比与他们是否患有呼吸系统疾病无关。但对于住院患有呼吸系统疾病的人来说，骨骼疾病的发生率跃升至 25%！萨克特称这种现象为“入院率偏差”或“伯克森偏差”。

与蒙蒂·霍尔案例类似，导致伯克森悖论出现的罪魁祸首是一个碰撞器图，原本独立的两种疾病都指向了住院：患有这两种疾病的患者比只患有其中一种疾病的患者更有可能住院。当我们以住院为条件，也就是碰撞器时，最初独立变量之间出现了无因果相关的情况。我们现在已经习惯了碰撞器偏差。

辛普森悖论

想象一个悖论，如果让其自行发展，其结论是荒谬的：*当我们知道患者的性别时，我们不应该开药，因为数据显示这种药对男性和女性都有害；但如果性别未知，那么我们应该开药，因为数据显示这种药对整体人群有益！*这显然是荒谬的，我们的第一反应应该是抗议：给我看数据！

当人群的几个组合中出现趋势，但在合并这些组合时消失或反转时，我们认识到辛普森悖论。

让我们首先揭穿这个悖论。这是一个简单的分数（或比例）相加的数值错误。总之，当我们相加分数时，我们不能简单地将各自的分子和分母相加：

A B > a b and C D > c d ⇏ A+C B+D > a+c b+d

例如，假设数据显示：

• 服用药物的女性中有 3/40 患心脏病，而没有服用药物的女性中只有 1/20 患心脏病（3/40 > 1/20）；

• 服用药物的男性中有 8/20 患心脏病，而没有服用药物的男性中有 12/40 患心脏病（8/20 > 12/40）。

现在当我们合并女性和男性的数据时，不平等的方向发生了逆转：3/40 > 1/20 和 8/20 > 12/40 但是合理地 (3 + 8)/(40 + 20) < (1 + 12)/(20 + 40)。换句话说：在服用药物的 60 名男性和女性中，有 11 人患心脏病，而在没有服用药物的 60 名男性和女性中，有 13 人患心脏病。

然而，当我们以这种方式合并数据时，我们犯了一个简单的分数错误。换句话说，为了解决辛普森悖论，我们不应该简单地将分子和分母相加，然后期望不等式成立。请注意，服用药物的 60 人中，有 40 名女性和 20 名男性；而没有服用药物的 60 人中，有 20 名女性和 40 名男性。我们正在比较苹果和橙子，并且与性别混淆：性别影响是否给药和是否发生心脏病。图 11-5 中的图表说明了这种混淆关系。

图 11-5. 性别是服用药物和心脏病的混杂因素。

如果我们天真地合并比例时感觉有些不对劲，那是正确的：如果在每个地方都是公平的，那么全局也是公平的，或者如果在每个地方都是某种方式，那么我们应该期望全局也是这样。

这种错误经常发生并不奇怪，因为人类直到相对较近的时候才能正确理解分数。在领域如继承和贸易中，有古代文本中处理分数的错误。我们的大脑对分数的抵抗似乎仍然存在：我们在七年级学习分数，这也是许多人传说中对数学的憎恶的起源。

那么正确的数据合并方式是什么呢？我们七年级的智慧告诉我们使用公共分母 40，并根据性别进行条件判断：对于女性，3/40>2/40，对于男性，16/40>12/40。现在由于在一般人口中男性和女性的分布是相等的，我们应该取平均值，并得出结论（3/40+16/40）/2>(2/40+12/40）/2，也就是说，在一般人口中服用药物的心脏病发作率为 23.75%，不服用药物的为 17.5%。这里没有发生任何神奇和不合逻辑的逆转。此外，这种药物相当糟糕！

大型随机矩阵

大多数人工智能应用处理大量高维数据（大数据），这些数据以高维向量、矩阵或张量的形式组织，代表数据表、图像、自然语言、图网络等。这些数据中很多是嘈杂的或具有固有的随机性质。为了处理这样的数据，我们需要一个数学框架，结合了通常处理标量随机变量的概率和统计学，以及处理向量和矩阵的线性代数。

均值和方差仍然是核心概念，因此我们会发现许多关于所涉及的高维随机变量的期望和方差（不确定性）的陈述和结果。与标量情况类似，棘手的部分是控制方差，因此文献中的许多工作都会找到随机变量分布尾部（不等式）的界限，或者从均值一定距离内找到随机变量的可能性。

由于我们现在有了矩阵值随机变量，许多结果旨在了解它们的谱的行为（分布）：特征值和特征向量。

随机向量和随机矩阵的例子

不足为奇的是，对大型随机矩阵的研究演变成了自己的理论。它们出现在各种重要应用中，从金融到神经科学再到物理学和技术设备的制造。以下仅是一些例子。这些具有重大影响，因此每个领域都有大量的数学社区。

量化金融

一个随机向量的例子是量化金融中的投资组合。我们经常需要决定如何在大量股票中进行投资，这些股票的价格波动是随机的，以实现最佳表现。投资组合本身是一个随时间演变的大型随机向量。同样，纳斯达克股票的每日回报率（纳斯达克包含 2500 多只股票）是一个随时间演变的大型随机向量。

神经科学

另一个例子来自神经科学：在大脑中建模神经元之间的突触连接网络时，随机矩阵会出现。在一定长度的t个连续时间间隔内，n个神经元发射的脉冲数是一个n × t随机矩阵。

数学物理学：维格纳矩阵

在数学物理学中，特别是在核物理学中，物理学家尤金·维格纳引入了随机矩阵来模拟重原子核和它们的谱。简而言之，他将重原子核谱线之间的间距与随机矩阵的特征值之间的间距联系起来。

Wigner 最初使用的确定性矩阵是系统的哈密顿量，它是描述核子中中子和质子之间所有相互作用的矩阵。对哈密顿量进行对角化以找到核的能级是不可能的，因此 Wigner 寻找了一种替代方法。他完全放弃了精确性和确定性，从概率的角度来看待问题：不是问能级究竟是什么，而是问类似的问题：

• 在某个区间内找到一个能级的概率是多少？

• 两个连续能级之间的距离在某个范围内的概率是多少？

• 我们能否用具有正确对称性质的纯随机矩阵替换系统的哈密顿量？例如，在时间反演不变的量子系统中，哈密顿量是一个实对称矩阵（无限大）。在存在磁场的情况下，哈密顿量是一个复的厄米矩阵（实对称矩阵的复数对应）。在存在自旋轨道耦合（量子物理术语）的情况下，哈密顿量是辛（另一种特殊类型的对称矩阵）的。

类似地，Wigner 类型的随机矩阵出现在凝聚态物理中，我们在这里使用实对称 Wigner 矩阵模拟原子对或自旋对之间的相互作用。总的来说，Wigner 矩阵在随机矩阵理论中被认为是经典的。

多元统计学：Wishart 矩阵和协方差

在多元统计学中，John Wishart 在想要估计大型随机向量的样本协方差矩阵时引入了随机矩阵。Wishart 随机矩阵在随机矩阵理论中也被认为是经典的。请注意，样本协方差矩阵是对总体协方差矩阵的估计。

在处理样本协方差矩阵时，一个常见的情况是观察到n维变量t次，也就是说，原始数据集是一个大小为n × t的矩阵。例如，我们可能需要估计大量资产的回报的协方差矩阵（使用较小的样本），比如：纳斯达克的 2500 只股票的日回报。如果我们使用 5 年的每日数据，考虑到一年有 252 个交易日，那么对于 2500 只股票，我们每只股票有 5×252=1260 个数据点。原始数据集将是一个大小为2500 × 1260的矩阵。这是一个观测次数小于变量数量的情况。我们还有其他情况，观测次数和变量数量相反，以及观测次数和变量数量相差很大的极端情况。在所有情况下，我们对样本协方差矩阵的特征值的概率分布感兴趣。

让我们写出协方差矩阵的条目公式。对于一个变量z → 1（比如一只股票）有t次观察，其均值为z ¯ 1，我们有方差

σ 1 2 = (z 1 (1)-z ¯ 1 ) 2 +(z 1 (2)-z ¯ 1 ) 2 +⋯+(z 1 (t)-z ¯ 1 ) 2 t

同样，对于每个变量z → i，我们有它们的方差σ i 2。这些位于协方差矩阵的对角线上。现在每个非对角线σ ij条目是相应变量对的协方差：

σ ij = (z i (1)-z ¯ i )(z j (1)-z ¯ j )+(z i (2)-z ¯ i )(z j (2)-z ¯ j )+⋯+(z i (t)-z ¯ i )(z j (t)-z ¯ j ) t

协方差矩阵是对称的且正定的（具有正特征值）。协方差矩阵中的随机性通常源于嘈杂的观测。由于测量噪声是不可避免的，确定协方差矩阵在数学上变得更加复杂。另一个常见问题是样本通常不是独立的。相关样本引入了某种冗余，因此我们预期样本协方差矩阵的行为就好像我们观察到的样本比实际少。因此，我们必须在存在相关样本的情况下分析样本协方差矩阵。

动力系统

在平衡点附近的线性化动力系统（dx →(t) dt = A x → ( t )）。在混沌系统的背景下，我们想要了解初始条件的微小差异如何随着动力学的展开而传播。一种方法是在线性化未受扰动轨迹的附近线性化动力学。扰动会随着矩阵的乘积演化，对应于线性化动力学，作用在初始扰动上。

其他同样重要的例子

还有其他例子。在数论中，我们可以使用某些随机矩阵的特征值分布来建模黎曼 zeta 函数的零点分布。对于关注量子计算的人，这里有一个历史注记：在薛定谔方程之前，海森堡用他所称之为“矩阵力学”的术语制定了量子力学。最后，在第十三章中，我们将遇到“概率演化的主方程”。这涉及从系统的一个状态到另一个状态的转移概率的大矩阵。

随机矩阵理论中的主要考虑因素

根据问题的表述，出现的矩阵可能是确定性的或随机的。对于确定性向量和矩阵，经典的数值线性代数适用，但极高的维度迫使我们使用随机化来有效地进行矩阵乘法（通常为O ( n 3 )）、分解和计算谱（特征值和特征向量）。通过研究这些特征值和特征向量，我们可以了解矩阵的大量性质。在随机领域中，当矩阵是随机的时，它们也是随机的。那么我们如何计算它们并找到它们的概率分布（甚至只是它们的均值和方差或这些值的界限）？这是大型随机矩阵领域（或随机化线性代数，或高维概率）所涉及的问题类型。我们通常关注：

• 涉及的随机数学对象：随机向量和随机矩阵。随机向量或随机矩阵的每个元素都是一个随机变量。这些随机变量可以是静态的随机变量，也可以随时间演变。当随机变量随时间演变时，它就成为“随机过程”。显然，随机过程在数学上比它们的静态对应物更加复杂。例如，我们可以对随时间演变的方差说些什么？

• 随机投影：我们总是对投影到一些低维空间并保留基本信息感兴趣。这通常涉及将矩阵与向量相乘或将矩阵分解为更简单矩阵的乘积，例如奇异值分解。当数据不仅很大而且条目是随机的时，我们如何做到这一点？

• 添加和乘以随机矩阵：请注意，标量随机变量的和与积也是随机变量，并且它们的分布已经得到了深入研究。同样，时间演变标量随机变量的和与积，这是布朗运动和随机微积分的基础，有大量文献支持。这个理论如何过渡到更高维度？

• 计算随机矩阵的谱，并探索其（随机）特征值和特征向量的性质。

• 计算随机矩阵的和与积的谱。

• 乘以许多随机矩阵，而不仅仅是两个。这个问题在技术行业的许多情境中出现，例如，在研究光在一系列具有不同光学指数的板块中的传播时，或者在无序导线中电子的传播，或者位移在颗粒介质中的传播方式。

• 矩阵的贝叶斯估计（贝叶斯任何事情总是涉及根据某些证据估计某事的概率）：在这里，我们开始的矩阵（观测矩阵）是我们关心的真实矩阵的一个带有噪声的版本。噪声可以是加性的，因此观察到的矩阵E=真实矩阵+一个随机噪声矩阵。噪声也可以是乘性的，因此观察到的矩阵E=真实矩阵 × 随机噪声矩阵。一般来说，我们不知道真实矩阵，希望知道在观察到有噪声的矩阵的情况下这个矩阵的概率。也就是说，我们必须计算Prob(真实矩阵|有噪声的矩阵)。

随机矩阵集合

在大多数应用中，我们会遇到（随机或确定性的）没有特定结构的大矩阵。随机矩阵理论的主要前提是，我们可以用某个随机矩阵集合的典型元素（期望元素）替换这样一个大复杂矩阵。大部分时间我们将注意力限制在具有实数元素的对称矩阵上，因为这些是数据分析和统计物理中最常见的矩阵。幸运的是，这些矩阵在数学上更容易分析。

谈到数学，我们喜欢多项式函数。它们是非线性的，足够复杂，可以捕捉周围世界中的复杂性，并且易于评估和进行计算。当我们研究大型随机矩阵时，会出现一种特殊类型的经过深入研究的多项式：正交多项式。正交多项式序列是一组多项式，使得序列中的任意两个不同多项式在某种内积下是正交的（它们的内积为零）。最广泛使用的正交多项式序列是：Hermite 多项式，Laguerre 多项式和 Jacobi 多项式（其中包括重要的 Chebyshev 多项式和 Legendre 多项式类）。在正交多项式领域中著名的人物，主要是在 19 世纪末期发展起来的，有 Chebyshev、Markov 和 Stieltjes。难怪这些名字在概率论中随处可见，从 Chebyshev 不等式到 Markov 链和过程再到 Stieltjes 变换。

以下三种基本的随机矩阵集合与正交多项式密切相关：

1. Wigner: 这是高斯分布的矩阵等价物。一个 1×1 的 Wigner 矩阵是一个单个的高斯随机数。这与厄米特正交多项式密切相关。高斯分布及其相关的厄米特多项式在基础变量无上限和下限的情况下非常自然地出现。Wigner 随机矩阵的特征多项式的平均遵循简单的递归关系，使我们能够将它们表示为厄米特多项式。Wigner 集合是所有随机矩阵集合中最简单的。这些矩阵的所有元素都是高斯随机变量，唯一的约束是矩阵是实对称的（高斯正交集合），复共轭（高斯酉集合）或辛（高斯辛集合）。

2. Wishart: 这是 gamma 分布的矩阵等价物。一个 1×1 的 Wishart 是一个 gamma 分布的数字。这与拉盖尔正交多项式密切相关。Gamma 分布和拉盖尔多项式出现在变量从下限（例如正变量）受限的问题中。Wishart 随机矩阵的特征多项式的平均遵循简单的递归关系，使我们能够将它们表示为拉盖尔多项式。

3. Jacobi: 这是 beta 分布的矩阵等价物。一个 1×1 的 Wishart 是一个 beta 分布的数字。这与雅可比正交多项式密切相关。Beta 分布和雅可比多项式出现在变量从上限和下限受限的问题中。雅可比矩阵出现的一个自然情境是样本协方差矩阵。它们还出现在仅具有两个特征值的矩阵的加法或乘法的简单问题中。

与标量随机变量一样，我们研究随机矩阵集合的矩和 Stieltjes 变换。此外，由于我们处于矩阵领域，我们研究这些随机矩阵的特征值的联合概率分布。对于上述提到的集合，特征值之间存在强相关性，我们可以将它们视为通过成对排斥相互作用的粒子。这些被称为库仑排斥特征值，这个想法是从统计物理学中借鉴的（例如，有关矩阵特殊结构的特征值行为的更深入探讨，请参阅特征值模式（2003））。事实证明，在 Wigner 情况下，库仑气体问题的最可能位置与厄米特多项式的零点重合，在 Wishart 情况下与拉盖尔多项式的零点重合。此外，这些集合的特征值在其最可能位置周围波动非常小。

两个大型随机矩阵之和的特征值密度

除了找到随机矩阵集合的特征值的联合概率分布外，我们还关心大型随机矩阵之和的特征值密度（概率分布），以每个矩阵在总和中的情况为基础。戴森布朗运动出现在这个背景下。它是从标量随机变量到随机矩阵的布朗运动的扩展。此外，矩阵的傅立叶变换使我们能够定义标量独立同分布随机变量的生成函数的类比，并使用其对数来找到精心构造的随机矩阵之和的特征值密度。最后，我们可以将 Chernoff、Bernstein 和 Hoeffding 类型的不等式应用于有限个随机厄米矩阵的最大特征值。

大型随机矩阵的基本数学

在离开大型随机矩阵讨论之前，让我们强调一下如果我们想深入研究这一领域的必知内容。我们在本章中涉及了其中一些内容，其余内容留给您的搜索技能：

• 计算谱：矩阵的特征值和特征向量（A v → = λ v →）

• 矩阵的特征多项式（d e t ( λ I - A )）

• 埃尔米特、拉盖尔和雅各比正交多项式

• 高斯、伽玛和贝塔概率分布

• 随机变量的矩和矩生成函数

• 斯蒂尔杰斯变换

• 切比雪夫一切

• 马尔可夫一切

• 切诺夫、伯恩斯坦和霍夫丁类型的不等式

• 布朗运动和戴森布朗运动

截至 2022 年，最快的超级计算机是Frontier，世界上第一台艾克萨计算机（1.102 艾克萨 FLOPS），位于能源部奥克岭国家实验室。即使在这样一台超级计算机上，当矩阵非常大时，我们也无法应用数值线性代数（例如解涉及矩阵的方程组、找到其谱或找到其奇异值分解）。我们必须做的是对矩阵的列进行随机抽样。最好以导致最忠实逼近的概率抽样列，即方差最小的那个。例如，如果问题是将两个大矩阵A和B相乘，我们不是均匀地从A中抽取一列和从B中对应的一行，而是选择A中的列和B中对应的行，概率为p j与norm(column j of A)norm(row j of B)成比例。这意味着我们更经常选择具有较大范数的列和行，从而更有可能捕捉乘积的重要部分。

大型和非大型矩阵的列空间非常重要。记住给定矩阵A的列空间的三个最佳基础：

1. 奇异值分解中的奇异向量，

2. 来自 Gram Schmidt 过程的正交向量（矩阵的著名QR分解），

3. 或者直接从A的列中选择线性独立的列。

随机过程

我们现在不再考虑静态（标量或向量或矩阵或张量）随机变量，而是考虑一个时间相关的随机变量。数学中的下一步总是包括时间演变实体。顺便说一句，人类尚未完全理解时间的本质，也没有找到表达其定义的方法。然而，我们理解运动和变化，一个系统从一个状态过渡到另一个状态，我们将时间与之联系起来。我们还将从一个状态过渡到另一个状态的概率联系起来。记住这一点，马尔可夫链很快就会出现。

随机过程是一个无限序列X 0 , X 1 , X 2 , . . .，其中我们将每个X t中的索引t视为离散时间。因此，X 0是时间0时的过程（或在某个特定时间0的随机量的值），X 1是时间1时的过程（或在某个特定时间1的随机量的值），依此类推。要正式定义一个随机变量，我们通常将其固定在我们称之为概率三元组的组合中：(样本空间，σ代数，概率测度)。暂时不要纠结于这个三元组的含义，而是纠结于一个随机过程X 0 , X 1 , X 2 , . . .中的所有随机变量都生活在相同的概率三元组上，从这个意义上说属于一个家族。此外，这些随机变量通常不是独立的。

同样重要（取决于应用）的是连续时间随机过程，其中X t现在编码了任意非负时间t的随机量的值。此外，这很容易与我们对时间的直观感知相吻合，即时间是连续的。

因此，随机过程是有限维多变量分布向无限维度的泛化。当试图证明随机过程的存在时，这种思考方式非常方便，因为我们可以借助允许我们通过依赖于组成分布的有限维集合扩展到无限维度的定理。

随机过程的例子无处不在。每当我们遇到波动时，我们就会想到这些：气体分子的运动，电流波动，金融市场中的股票价格，一段时间内呼叫中心接到的电话数量，赌徒的过程，以及这个有趣的微生物学领域中的例子，讨论在肠道中发现的细菌，血液、跳蚤或蜱虫的群落组装主要受随机过程控制，而肠道微生物组则由确定性过程决定。

股市的例子在随机过程理论中是中心的，因为这是布朗运动（也称为维纳随机过程）如何被推广的，L. 巴舍利耶研究了巴黎证券交易所的价格变动。呼叫中心的电话例子也在理论中是中心的，因为这是泊松随机过程如何被推广的，A. K. 埃尔朗模拟了一段时间内发生的电话呼叫数量。

这两个过程，布朗运动和泊松过程，在许多与上述例子无关的情境中出现。也许这告诉我们一些关于自然及其基础过程统一性的更深层次的东西，但让我们不要陷入哲学，而是留在数学领域。一般来说，我们可以根据它们的数学特性将随机过程分为几类。其中一些是离散时间过程，另一些是连续时间过程。区分哪个是哪个是相当直观的。

为了得出关于布朗运动和泊松过程以及我们即将概述的其他随机过程的结论，我们需要对它们进行数学分析。在概率论中，我们首先要建立随机过程的存在性：也就是说，我们需要明确定义离散时间的无限随机变量序列 X 0 , X 1 , X 2 , . . . 或连续时间 X t 过程存在的概率三元组（样本空间，sigma 代数，概率测度），并证明我们可以找到一组满足其特征性质的随机变量。我们将在本章后面重新讨论这一点，但在证明随机过程的存在性时，我们要搜索的一个重要名字是 A.科尔莫戈洛夫（1903-1987），即科尔莫戈洛夫存在定理。这确保了存在一个随机过程，其具有与我们期望的过程相同的有限维分布。也就是说，我们可以通过以某种一致的方式指定所有有限维分布来获得我们期望的随机过程（无限过程，以离散或连续时间为索引）。

让我们来看一下最突出的随机过程：

伯努利过程

这是与反复抛硬币以及生活中模仿这种过程的任何过程大多相关的随机过程（在一些机场，海关官员让我们按下一个按钮，如果灯变绿，我们通过，如果变红，我们就被搜查）。在数学上，它是一个独立同分布的无限序列的随机变量 X 0 , X 1 , X 2 , . . . ，其中每个随机变量以概率p取零值或以概率1-p取一值。这个过程的一个样本实现看起来像 0 , 1 , 1 , 0 , . . . 。

泊松过程

我们可以将泊松过程看作是其基础随机变量为计数变量的随机过程：这些变量计算在一段时间内发生了多少有趣的事件。这些事件要么是独立的，要么是弱相关的，并且每个事件发生的概率很小。它们以一个固定的期望速率λ发生。这个参数表征了泊松随机变量。例如，在排队理论中，我们用它来模拟顾客到达商店的情况，或者电话中心的电话呼叫，或者在某个时间间隔内地震的发生。这个过程的状态空间是自然数，索引集是非负数。涉及泊松过程的随机变量的概率分布具有以下公式

P r o b ( X = n ) = λ n e -λ n!

上面的公式给出了在一个单位时间段内发生n个有趣事件的概率。显然，在固定的时间间隔内，不太可能发生许多罕见事件，这解释了大n时公式中的快速衰减。泊松随机变量的期望和方差是λ。

泊松过程 X t ; t ≥ 0 ，以连续时间为索引，具有以下特性：

• X_0=0

• 在长度为t的任何区间内的事件（或点）的数量是一个参数为λ t的泊松随机变量。

泊松过程具有两个重要特征：

1. 每个有限间隔内的事件数量是一个泊松随机变量（具有泊松概率分布）。

2. 不相交时间间隔内的事件数量是独立的随机变量。

泊松过程是一个 Levy 随机过程的例子，这是一个具有平稳独立增量的过程。

随机漫步

很容易将最简单的随机漫步想象为某人在道路上行走，他从某处开始，然后以概率p向前移动（在他的位置上加一），以概率1-p向后移动（从他的位置上减一）。我们可以定义结果离散时间随机过程X 0 , X 1 , ⋯，使得X 0 = x 0，X 1 = X 0 + Z 1，X 2 = X 1 + Z 2 = X 0 + Z 1 + Z 2，等等，其中Z 1 , Z 2 , d o t s是一个伯努利过程。如果p=0.5，这是一个对称随机漫步。

在第九章中，我们多次使用图上的随机漫步，我们从某个图节点开始，然后以给定概率转移到其中一个相邻节点。图的归一化邻接矩阵将定义所有节点的转移概率。这是一个很好的例子，说明了图上的随机漫步与马尔可夫链的联系，即将很快出现。有关更多信息，请查看这篇关于图上的随机漫步的笔记。

维纳过程或布朗运动

我们可以将维纳过程或布朗运动视为具有无穷小步长的随机漫步，因此离散运动变为无穷小波动，我们得到一个连续随机漫步。布朗运动是一个连续时间随机过程X t ; t ≥ 0。随机变量X t是实值的，具有独立增量，并且在两个不同时间t和s的X t和X s之间的差异通常分布（遵循高斯钟形分布）具有均值0和方差t-s。也就是说，X t - X s根据增量的大小服从正态分布。

关于实值连续时间随机过程的有趣之处在于它们可以沿着连续路径移动，产生有趣的随机时间函数。例如，几乎可以肯定，布朗运动（维纳过程）的一个样本路径在任何地方都是连续的，但在任何地方都不可微分（尖峰太多）。

布朗运动在随机过程的研究中是基础性的。它是随机微积分的起点，位于几个重要类别的过程的交集处：它是一个高斯马尔可夫过程，它是一个莱维过程（一个具有平稳独立增量的过程），它是一个马丁格尔，接下来将讨论。

马丁格尔

离散时间马丁格尔是一个随机过程X 0 , X 1 , X 2 , . .，对于任何离散时间 t，

𝔼 ( X t+1 | X 1 , X 2 , ⋯ , X t ) = X t

也就是说，给定所有先前的观察，下一个观察的期望值等于最近的观察。这是定义某物的一种奇怪方式（遗憾的是这在这个领域非常常见），但让我们简要举几个例子，说明马丁格尔出现在其中的一些背景中：

• 一个无偏随机游走是马丁格尔的一个例子。

• 一个赌徒的财富是一个马丁格尔，如果赌徒玩的所有赌博游戏都是公平的：假设一个赌徒赢得 1 美元，如果硬币正面朝上，输掉 1 美元，如果硬币反面朝上。如果X n是赌徒在n次抛硬币后的财富，那么赌徒在下一次抛硬币后的条件期望财富，鉴于历史，等于他们目前的财富。

• 在一个生态群落中，一群物种竞争有限资源，我们可以将任何特定物种的个体数量建模为随机过程。根据生物多样性和生物地理学统一中性理论，这个序列是一个马丁格尔。

当讨论马丁格尔时，停时出现。这是一个有趣的概念，捕捉到这样的想法：在任何特定时间 t，你可以查看到目前的序列，并判断是否是停止的时候。关于随机过程X 1 , X 2 , X 3 , . . .的停时是一个随机变量S（代表停止），具有这样的性质，即对于每个 t，事件S=t的发生或非发生仅取决于X 1 , X 2 , X 3 , . . . , X t的值。例如，停时随机变量模拟赌徒选择何时停止并离开赌桌的时间：这将取决于他之前的赢利和损失，但不取决于他尚未玩过的游戏的结果。

莱维过程

我们已经提到泊松过程和布朗运动（维纳过程）作为莱维过程最受欢迎的两个例子。这是一个具有独立、平稳增量的随机过程。它可以模拟一个粒子的运动，其连续的位移是随机的，在成对不相交的时间间隔内的位移是独立的，并且在相同长度的不同时间间隔内的位移具有相同的概率分布。在这个意义上，它是随机游走的连续时间模拟。

分支过程

一个分支过程会随机地分裂成分支。例如，它模拟了某种人口的演变（如细菌，或核反应堆中的中子），其中给定一代中的每个个体根据某个固定的概率分布产生下一代中的随机数量的个体，这个概率分布不会因个体而异。分支过程理论中的一个主要问题是最终灭绝的概率，即在有限代之后人口灭绝的概率。

马尔可夫链

现在让我们正式定义一个离散时间马尔可夫链，因为它是最重要的随机过程之一，并且在 AI 强化学习的背景下经常出现。为了定义一个马尔可夫链，我们需要：

• 一个离散的可能状态集合S（有限或无限）。将其视为粒子或代理可以占据的状态集合。在每一步中，马尔可夫过程随机地从一个状态演变到另一个状态。

• 一个初始分布规定了每个可能状态s t a t e i的概率ν i：最初，粒子在某个位置或代理处于某个状态的可能性有多大？

• 转移概率p ij指定了粒子或代理从s t a t e i转移到s t a t e j的概率。注意对于每个状态i，和为 1 的总和p i1 + p i2 + ⋯ + p in = 1。此外，这个过程没有记忆，因为这个转移概率仅取决于s t a t e i和s t a t e j，而不是先前访问的状态。

现在，马尔可夫链是一个取值于S的随机过程X 0 , X 1 , ⋯，使得

P r o b ( X 0 = s t a t e i 0 , X 1 = s t a t e i 1 , ⋯ , X n = s t a t e i n ) = ν i 0 p i 0 i 1 p i 1 i 2 ⋯ p i n-1 i n

我们可以将所有的转移概率捆绑在一个方阵中（一个马尔可夫矩阵，每行都有非负数相加为 1），并乘以该矩阵。这个矩阵总结了从任何s t a t e i到s t a t e j的过渡概率在一步中。有趣的是，马尔可夫矩阵的幂也是马尔可夫的，例如这个矩阵的平方总结了从任何s t a t e i到s t a t e j的过渡概率在两步中，依此类推。

与马尔可夫链相关的一些基本概念是瞬态、再现性和不可约性。如果从一个状态开始，我们肯定最终会返回到它，则状态是再现的。如果状态不再现，则称为瞬态。如果马尔可夫链可以从任何状态移动到任何其他状态，则称为不可约。

最后，一个稳态概率向量，定义了可能状态上的概率分布，是一个不会在我们将其乘以转移矩阵时发生变化的向量。这直接与线性代数中的特征向量和对应的特征值为一的概念联系在一起。当我们知道的数学相互联系时，我们会感到非常愉快，这是一种让人上瘾的感觉，也是我们陷入这个领域的“爱恨”关系的原因。幸运的是，我们待的时间越长，这种感觉就会变得越来越“爱爱”。

伊藤引理

让我们再多谈一点数学。随机过程模拟随时间演变的随机数量。随机过程的函数也随时间随机演变。当确定性函数随时间演变时，下一个问题通常是，“多快？”为了回答这个问题，我们对时间求导，并围绕确定性函数的导数（和积分）发展微积分。链式法则至关重要，特别是对于训练机器学习模型。

伊藤引理是随机过程函数的链式法则的类比。它是链式法则的随机微积分对应物。我们用它来找到随时间变化的随机过程函数的微分。

马尔可夫决策过程和强化学习

在 AI 社区中，马尔可夫决策过程与以下内容相关：

• 动态规划和 Richard Bellman：Bellman 在该领域发挥了重要作用，他的最优性条件被许多算法实现。

• 强化学习：通过一系列与正面或负面奖励相关的行动（试错）找到最佳策略。代理在几种行动和转移状态之间有选择，其中转移概率取决于所选择的行动。

• 深度强化学习：将强化学习与神经网络结合起来。在这里，神经网络将观察结果作为输入，并为代理可以采取的每个可能行动输出一个概率（概率分布）。然后代理根据估计的概率随机决定下一步行动。例如，如果代理有两个选择，向左转或向右转，神经网络为向左转输出 0.7，则代理将以 70%的概率向左转，以 30%的概率向右转。

强化学习有很大的潜力将我们推向智能的方向。智能代理需要在行动的回报不是立即产生而是由一系列连续采取的行动产生时做出理性决策。这是在不确定性下推理的典范。

强化学习的例子

强化学习的例子很多：自动驾驶汽车、推荐系统、家中的恒温器（每当接近目标温度并节省能源时获得正面奖励，当人们需要调整温度时获得负面奖励）、股票市场的自动投资（输入是股价，输出是买入或卖出每支股票的数量，奖励是货币收益或损失）。

也许最著名的深度强化学习成功例子是DeepMind 的 AlphaGo，这个 AI 代理在 2016 年击败了世界上最好的人类玩家在古老的中国围棋游戏中。以棋盘游戏的形式思考强化学习，比如国际象棋或围棋，是直观的，因为在每一步我们决定我们必须采取的行动序列，深知我们当前的决定会影响整个游戏的结果。我们最好在每一步都表现最佳。此外，在每一步，我们的最佳策略会演变，因为它还取决于我们对手的行动（他正在从他的角度解决完全相同的问题）。

我有点偏向于不包含游戏的例子，因为现在我的女儿沉迷于 PlayStation5。我更喜欢投资市场的例子：我们的理财顾问在每天都在变化的市场中操作，并且需要在每个时间步骤上做出买卖某些股票的决定，长期目标是最大化利润和最小化损失。市场环境是随机的，我们不知道其规则，但我们假设我们知道为了建模目的。现在让我们将我们的人类理财顾问换成一个 AI 代理，看看这个代理在不断变化的市场环境中每个时间步需要解决什么样的优化问题。

强化学习作为马尔可夫决策过程

让我们将强化学习在数学上表述为马尔可夫决策过程：我们的代理存在的环境是概率性的，由状态和这些状态之间的转移概率组成。这些转移概率取决于选择的动作。因此，从任何状态state →到另一个状态state → '的马尔可夫过程具有对在状态state →时采取的动作a →的显式依赖。

这里的主要假设是我们知道这个过程，这意味着我们知道环境的规则。换句话说，我们知道每个state →，state → '和动作a →的以下概率：

P r o b ( next state = state → ' | current state = state → , action taken = a → )

我们也知道奖励系统，即

P r o b ( next reward value | current state = state → , action taken = a → , next state = state → ' )

这个讨论现在属于动态规划的范畴：我们寻找导致最优值（最大奖励或最小损失）的最优策略（一系列良好的行动）。这个优化问题比我们迄今遇到的问题要复杂一些，因为它是导致最优值的一系列行动。因此，我们必须将问题分解为步骤，寻找每一步的行动，在未来多步中寻求最优奖励。贝尔曼最优方程恰好解决了这个问题，将其简化为在当前状态寻找仅一个最优行动（而不是一次性搜索所有行动），假设我们知道每一步要优化的问题。贝尔曼的巨大贡献是以下断言：当前状态的最优值等于采取一个最优行动后的平均奖励，加上这个行动可能导致的所有可能下一个状态的期望最优值。

代理通过一个交互过程与其环境进行交互。它从一个初始状态开始，以及该状态可能的一组动作（在给定该状态的情况下采取行动的概率分布），然后迭代计算以下内容：

1. 采取的下一个最优行动（将其转移到一个具有新一组可能行动的新状态）。这被称为策略迭代，优化目标是最大化未来奖励。

2. 给出最优行动的预期值（奖励或损失）。这被称为值迭代。

值函数将代理在其当前状态和之后采取的最优行动的预期未来奖励相加：

V a l u e ( state → , optimal sequence of actions ) = 𝔼 ( ∑ k γ k r e w a r d k ) .

折现因子 g a m m a 是介于 0 和 1 之间的数字。它有助于鼓励采取导致尽早而不是晚获得正奖励的行动。将这个因子放入优化问题中会调整随时间变化的奖励的重要性，对未来奖励给予较少的权重（如果g a m m a在 0 和 1 之间，则g a m m a k对于较大的k很小）。

让我们明确地在值函数中进行优化（我们正在选择在当前状态下最大化奖励的行动序列）：

V a l u e ( s → ) = max actionsandstates 𝔼 ( ∑ k=0 ∞ γ k (reward) k | state → 0 = s → )

现在我们将这个问题分解，以确保代理的当前奖励明确且与其未来奖励分开：

V a l u e ( s → ) = max actionsandstates 𝔼 ( r e w a r d 0 + ∑ k=1 ∞ γ k (reward) k | state → 1 = s → ' ) .

最后，我们发现代理的当前状态的值函数取决于其当前奖励和未来状态的折现值函数：

V a l u e ( s → ) = max actionsandstates 𝔼 ( r e w a r d 0 + γ V a l u e ( s → ' ) ) .

上述陈述使我们能够通过迭代地解决我们的主要优化问题（向后推进时间）。现在，代理所要做的就是选择行动以达到下一个最佳状态。这个值函数的表达式是强大的贝尔曼方程或贝尔曼最优性条件，它将原始优化问题分解为一系列更简单的优化问题的递归序列，在每个状态局部优化（找到V a l u e ( s → ' ) ），然后将结果放入下一个优化子问题（找到V a l u e ( s → ) ）。奇迹在于，通过这种从期望的最终奖励向后推导到现在决定采取什么行动的方式，最终给出了每个状态的整体最优策略以及最优值函数。

在最优控制和非线性动力学的背景下的强化学习

在第十三章中关于偏微分方程，我们重新审视了在非线性动力学、最优控制和哈密顿雅可比贝尔曼偏微分方程的背景下的强化学习。与我们的代理在上面的讨论中与概率马尔可夫环境互动不同，强化学习的动态规划方法（导致哈密顿雅可比贝尔曼偏微分方程）是确定性的。

强化学习的 Python 库

最后，一个有用的库用于实现强化学习算法是 TF-Agents 库（由谷歌开源于 2018 年），这是一个基于 TensorFlow（Python）的强化学习库。

理论和严格的基础

严格的，或者数学上精确的概率论需要测度论。但为什么呢？ 你可能会正当地抗议。毕竟，我们已经尽可能地避免了这个问题。

因为我们再也无法避免它了。

让我们写下这个但永远不要大声说出来：测度论让许多学生对继续深入研究数学产生了厌恶，主要是因为它的故事从来没有按照时间顺序讲述，以及它是如何以及为什么产生的。此外，测度论概率的许多工作都涉及证明某个随机变量存在（在某个样本空间、事件空间或σ代数上，以及对于该σ代数中的每个事件或集合的测度），好像把随机变量写下来并用它来模拟各种随机实体的存在不够。这一定是数学家和哲学家相处得如此融洽的原因。

我们已经以闪电般的速度飞过了本章中的许多概念（我的学生们总是指责我这样做），但我们需要重新开始，并给出：

• 对概率和σ-代数的精确数学理解；

• 随机变量和概率分布的精确数学定义，

• 随机变量期望值的精确数学定义，以及它与积分的联系

• 概率不等式的概述（控制不确定性）

• 大数定律、中心极限定理和其他收敛定理的概述

好吧，这太雄心勃勃了。我们不能在一章的一节中提供关于严格概率论的完整课程。相反，我们将为此提出一个令人信服的理由，并以对基本思想的良好理解结束。

我们从非严格概率的两个主要局限性开始（除了它的数学对象具有无数不一致的名称、符号和模糊的定义之外）：

哪些事件有概率？

给定一个样本空间（我们可以从中随机抽样的集合），任何子集都可以在其上定义概率吗？如果我们从实数线上均匀抽样数字，并问，我们选中一个有理数的概率是多少？代数数（某个整系数多项式方程的解）的概率是多少？或者从实数线的其他复杂子集中选中一个成员的概率是多少？

看看这些问题是如何慢慢将我们引入实数线上集合论的细节中，而这又直接将我们引入测度论：这个理论涉及我们可以测量实数线上哪些子集，以及哪些子集我们无法测量。

为样本空间的子集定义概率开始听起来很像为那个集合定义一个测度，似乎只有可测的子集才能为它们定义概率。那么样本空间的其他不可测子集呢？对它们来说太糟糕了，我们无法为它们定义概率。再次强调，*Prob(A)*并不适用于样本空间的每个子集 A，而只适用于该空间的可测子集。因此，我们必须将所有可测子集聚集在一起，放弃其余部分，永远不要考虑它们或它们的数学，然后放松，因为这样我们就可以在一个所有我们聚集的事件（子集）都有概率（测度）定义的领域中行动。我们所使用的概率测度满足合理的性质，即它是[0,1]范围内的非负数，并且互补事件（子集）的概率之和为一。这整个过程揭示了实数及其子集的复杂性，更一般地，揭示了连续体和无限的奥秘。

严格的概率论帮助我们理解离散和连续空间的特性，这在简单的例子中得以体现，比如在离散集合上构建离散均匀分布与在给定区间上构建连续均匀分布。

我们能谈论更广泛范围的随机变量吗？

非严格概率的另一个限制，也就是避开我们刚刚描述的测度论的那种限制，是它允许的随机变量类型的限制。特别是，我们在离散和连续随机变量之间究竟应该划定何种界限？这个界限真的存在吗？那些既有离散又有连续特性的随机变量呢？举个简单的例子，假设一个随机变量的值由抛硬币决定：如果硬币正面朝上，则它服从泊松分布（离散），如果硬币反面朝上，则服从正态分布（连续）。这个新的随机变量在非严格意义上既不完全是离散的也不完全是连续的。那它是什么呢？严格的答案是：当我们定义了任何随机变量所依赖的基础后，离散和连续随机变量之间就没有区别了。这个基础是什么呢？是什么集合构成了样本空间？这个样本空间的哪些子集是可测的？概率测度是什么？随机变量的分布是什么？这是任何随机变量的共同基础，或者说起点。一旦我们明确了这个基础，那么离散、连续或者介于两者之间，就变成了一个小细节，就像回答：我们正在处理哪个集合（或者说集合的乘积）一样简单。

概率三元组（样本空间、σ代数、概率测度）

一切都始于一个概率三元组（实际上并非如此，但这是严谨开始的地方）。我们称之为概率测度空间，理解为整个样本空间的测度等于一。也就是说，样本空间的概率为一。我们现在感觉非常先进，交替使用概率和测度这两个词。测度提供的舒适感是，它将我们带回到确定性领域。抽样是随机的，但我们可以测量任何事件发生的可能性（即可测量）。

构成概率测度空间的三个对象（样本空间、σ代数、概率测度）是：

• 样本空间：我们随机抽取样本的任意非空集合。

• σ代数：样本空间的子集合的集合，代表允许的事件（我们可以谈论它们的概率的事件，因为它们是我们能够测量的唯一事件）。σ代数必须包含整个样本空间，在补集下是封闭的（意味着如果一个集合在σ代数中，那么它的补集也在其中），并且在可数并集下是封闭的（意味着σ代数的可数个子集的并集也是σ代数的成员）。从前两个性质和德摩根定律（与并集和交集的补集有关）推论出来的是，σ代数也是在可数交集下是封闭的。

• 概率测度：介于零和一之间（包括零和一）的数字，与σ代数的每个子集相关联，满足我们与非严格概率相关的合理性质：

  1. Prob（样本空间）=1

  2. Prob（可数个两两不相交集合的并）=每个集合的概率的可数和。

这非常好，因为只要我们能够表达样本空间集合、σ代数和一个具有上述属性的函数，将σ代数的每个成员映射到其测度（概率），那么我们就可以在坚实的基础上开始建立理论，定义各种随机变量、它们的期望、方差、条件概率、和与积、序列的极限、随机过程、随机过程的函数的时间导数（伊藤积分微分学）等等。我们不会遇到哪种事件有为其定义概率（概率三元组的σ代数的所有成员），或者我们可以考虑哪种类型的随机变量（我们可以在概率三元组上严格定义的任何类型）的问题。

困难在哪里？

请注意，我们上面讨论的非严格概率的限制在涉及连续变量或样本空间在连续（不可数）时都会出现。如果我们的世界只是离散的，我们就不会遇到这些麻烦。当我们转向严格的概率，并尝试为离散样本空间构建概率三元组时，我们并不会遇到太多麻烦。挑战出现在连续世界中，即不可数样本空间。因为突然间我们必须在无限连续的深度上识别σ代数和相关的概率测度，这永远让人着迷。例如，即使我们想要为区间[0,1]上的连续均匀分布定义一个严格的概率三元组，这个挑战也会出现。

扩展定理来到我们的帮助，并允许我们构建复杂的概率三元组：不是在大型σ代数上定义概率测度，而是在一个更简单的子集合集合上构建它，一个半代数，然后定理允许我们自动将测度扩展到完整的σ代数。这个定理允许我们在[0,1]上构建勒贝格测度（这正是[0,1]上的连续均匀分布），乘积测度，多维勒贝格测度，有限和无限的抛硬币。

集合论、实分析和概率的世界已经很好地融合在一起。

随机变量、期望和积分

现在我们可以将概率三元组与样本空间关联起来，为样本空间的大量子集（所有相关 sigma 代数的成员）定义概率，我们可以严格地定义随机变量。正如我们从非严格概率中非常清楚的知道：随机变量为样本空间的每个元素分配一个数值。因此，如果我们将样本空间看作某个实验的所有可能随机结果（抛硬币得到正面和反面），那么随机变量为这些结果中的每一个分配一个数值。

为了建立在严格的基础上，我们必须定义随机变量Y如何与与样本空间相关的整个概率三元组交互。简短的答案是，它必须是一个从样本空间到实数线的可测函数，意味着集合Y -1 ( - ∞ , y )（Y -1从实数线映射回样本空间的子集），是 sigma 代数的成员，这意味着它有一个概率测度。

就像非严格概率中的随机变量在严格概率理论中实际上是一个可测函数（关于三元组），随机变量的期望𝔼 ( Y )实际上等同于随机变量（可测函数）关于概率测度的积分。我们写成：

𝔼 ( Y ) = ∫ Ω Y d P = ∫ Ω Y ( ω ) P r o b ( d ω )

理解期望公式中的积分符号

如果我们将随机变量的期望在离散设置中的含义理解为随机变量值乘以它假定该值的集合的概率的总和，那么很容易理解与概率测度相关的积分，比如上述公式中的积分：

𝔼 ( Y ) = ∑ i=1 n y i P ( ω ∈ Ω such that Y ( ω ) = y i )

现在将这个离散表达式与上面的连续积分进行比较。

我们严格地建立上述积分（期望）的方式与我们在测度论中建立勒贝格积分的方式完全相同：首先是简单随机变量，然后是非负随机变量，最后是一般随机变量。我们可以轻松地证明积分的基本性质，如线性和保序性。请注意，无论样本空间是离散的、连续的还是其他复杂的，只要我们有概率三元组来建立，上述积分就是有意义的（在我们为基本微积分里曼式积分所设想的更广泛的范围内）。一旦我们遇到勒贝格式积分，我们就不会再回头看了。

现在我们有了期望，我们可以像非严格概率理论一样精确地定义方差和协方差。

然后我们可以谈论独立性，以及重要性质，如如果 X 和 Y 是独立的，则 E(XY) = E(X)E(Y)和 Var(X + Y) = Var(X) + Var(Y)。

随机变量的分布和变量变换定理

随机变量X的分布是在实数线上定义的相应概率三元组( ℝ , ℬ , μ )，对于实数线上定义的波雷尔sigma 代数的每个子集B，我们有：

μ ( B ) = P ( X ∈ B ) = P ( X -1 ( B ) )

这完全由累积分布函数F X ( x ) = P ( X ≤ x )，决定X。

假设我们有一个定义在实数线上的实值函数f。让X是一个概率三元组( Ω , s i g m a a l g e b r a , P )上的随机变量，其分布为μ。注意对于任意实数x，f(x)是一个实数，对于随机变量X，f(X)是一个随机变量。

变量变换定理表明，随机变量f(X)的期望值关于样本空间Ω上的概率测度P等于关于ℝ上的测度μ的函数f的期望值。让我们首先用期望的术语来表达这一点，然后用积分的术语来表达：

𝔼 P ( f ( X ) ) = 𝔼 μ ( f ) .∫ Ω f ( X ( ω ) ) P ( d ω ) = ∫ -∞ ∞ f ( t ) μ ( d t ) .

从上述变量变换定理中方便的一点是，我们可以在期望、积分和概率之间进行切换：让f是ℝ的一个可测子集的指示函数，那么上述公式给出：

∫ -∞ ∞ 1 B μ ( d t ) = μ ( B ) = P ( X ∈ B ) .

严格概率论的下一步

严格概率论中的下一步是证明著名的不等式（马尔可夫、切比雪夫、柯西-施瓦茨、延森）引入随机变量的和积，大数定律和中心极限定理。然后我们转向随机变量序列和极限定理。

极限定理

如果我们有一个收敛到某个极限随机变量的随机变量序列，那么序列的期望是否会收敛到极限的期望？用积分语言来说，我们什么时候可以交换极限和积分？

这是我们证明单调收敛、有界收敛、Fatou 引理、支配收敛和一致可积收敛定理时使用的。

最后我们考虑双重或更高的积分，以及何时可以翻转积分的条件。 Fubini 定理回答了这个问题，我们可以应用它来给出独立随机变量之和的分布的卷积公式。

神经网络的普适性定理。

严格的测度论（概率论）帮助我们证明神经网络的定理，这是数学的一个新兴子领域，旨在为许多经验性人工智能成功提供理论基础。

神经网络的普适性定理是一个起点。我们在本书中多次提到它。以下是陈述：

对于紧凑集 K 上的任何连续函数 f，存在一个只有一个隐藏层的前馈神经网络，可以在 K 上均匀逼近 f，误差小于 K 上的任意ϵ > 0。

这个网页有一个简单易懂的证明。

总结和展望

在本章中，我们概述了对人工智能、机器学习和数据科学重要的概率概念。我们快速浏览了诸如因果建模、悖论、大型随机矩阵、随机过程和强化学习在人工智能中的主题。

通常当我们学习概率时，我们会陷入关于定义和围绕不确定性的整体哲学的频率主义与客观主义立场。以下是对每个观点的简洁描述：

• 频率主义的立场是概率只能来自实验和观察重复试验结果。

• 客观主义的立场是概率是宇宙的真实方面：一种真实的倾向或自然倾向以特定方式行为。例如，公平硬币翻转为正面的倾向百分之五十是公平硬币本身的固有属性。

然后频率主义者只是试图通过实验来测量这些自然倾向。严格的概率论统一了概率的不同观点。我们迅速介绍了严格的概率论，并建立了它实质上与实分析中的测度论相同。我们以神经网络的普适逼近定理结束。

我们以Yann LeCun的一条完美贴切的推文结束这一章，这条推文碰到了我们在本章中涵盖的每个主题：

我相信我们需要找到新的概念，使机器能够：

• 通过像婴儿一样观察来了解世界是如何运作的。

• 学会通过采取行动来预测如何影响世界。

• 学习允许在抽象表示空间中进行长期预测的分层表示。

• 妥善处理世界并非完全可预测的事实。

• 使代理能够预测行动序列的影响，从而能够推理和规划，使机器能够分层规划，将复杂任务分解为子任务。

• 所有这些都与基于梯度的学习兼容。

第十二章：数学逻辑

人类会打破规则……

在人工智能领域的历史上，基于逻辑的代理人出现在基于机器学习和神经网络的代理人之前。我们之所以在逻辑之前讨论了机器学习、神经网络、概率推理、图形表示和运算研究，是因为我们希望将所有这些内容融入到一个关于代理人推理的叙事中，而不是将逻辑看作是古老的，神经网络看作是现代的。我们希望将最近的进展视为增强逻辑人工智能代理人表示和推理世界的方式。一个好的思考方式类似于启蒙：一个 AI 代理人过去使用手工编码的知识库和规则来进行推理和决策，然后突然之间它得到启蒙，变得更具推理工具、网络和神经元，使其能够扩展其知识库和推理方法。这样，它就具有了更多的表达能力，可以应对更复杂和不确定的情况。此外，将所有工具结合在一起将使代理人有时可以打破更严格逻辑框架的规则，根据情况采用更灵活的规则，就像人类一样。打破、弯曲甚至改变规则是人类独有的特征。

单词逻辑的字典含义为本章设定了基调，并证明了其进展。

逻辑

组织用于合理思考和推理的规则和过程的框架。这是一个奠定了进行推理和推断的有效性原则的框架。

上述定义中需要注意的最重要的词是框架和推理原则。逻辑系统在一个代理人内部编码了指导可靠推理和正确证明的原则。设计能够收集知识、逻辑推理的代理人，使用一个灵活的逻辑系统，适应他们存在的环境中的不确定性，并基于这种逻辑推理进行推断和决策，是人工智能的核心。

我们讨论了我们可以编程到代理人中的各种数学逻辑系统。目标是赋予 AI 代理人能力，使其能够进行适当的推理。这些逻辑框架需要知识库来配合不同大小的推理规则。它们还具有不同程度的表达和演绎能力。

各种逻辑框架

在本章中我们将重点介绍的各种逻辑框架（命题、一阶、时间、概率和模糊），我们将回答两个关于它们在代理人中如何运作的问题：

1. 代理人的世界中存在哪些对象？也就是说，代理人如何感知其世界的构成？

2. 代理人如何感知对象的状态？也就是说，在特定的逻辑框架下，代理人可以为其世界中的每个对象分配什么值？

如果我们将我们的代理人比作一只蚂蚁及其体验世界的方式，就很容易理解：由于蚂蚁预先确定的感知框架和允许的移动方式，蚂蚁将世界，以及其曲率，体验为二维。如果蚂蚁得到增强并赋予更具表现力的感知框架和允许的移动方式（例如翅膀），那么它将体验到三维世界。

命题逻辑

• 代理人的世界中存在哪些对象？

简单或复杂的陈述，称为命题，因此称为命题逻辑。

• 代理人如何感知对象的状态？

真（1），假（0），或未知。命题逻辑也被称为布尔逻辑，因为其中的对象只能有两种状态。命题逻辑中的悖论是指无法分类为真或假的陈述，根据逻辑框架的真值表。

以下是陈述及其状态的示例：

• 正在下雨（可以是真也可以是假）

• 埃菲尔铁塔在巴黎（始终为真）

• 公园里有可疑活动（可以是真也可以是假）

• 这句话是假的（悖论）

• 我快乐 且 我悲伤（始终为假，除非你问我的丈夫）

• 我快乐 或 我悲伤（始终为真）

• 如果分数是 13，那么学生就不及格（真假取决于不及格的阈值，因此我们需要在知识库中添加一个陈述，说所有分数低于 16 的学生都不及格，并将其值设为真）。

• 1+2 等于 2+1（在具有算术规则的代理中始终为真）。

• 巴黎浪漫（在命题逻辑中，这必须是真或假，但在模糊逻辑中，它可以在零到一的范围内取值，例如 0.8，这更符合我们感知世界的方式，以一个范围而不是绝对值。当然，如果我在编程一个代理并且受限于命题逻辑，我会为这个陈述分配真值，但是一个讨厌巴黎的人会分配假值。哦，好吧）。

命题逻辑世界中的对象是简单陈述和复杂陈述。我们可以使用五个允许的运算符从简单陈述中形成复杂陈述：非（否定）；和；或；蕴含（与如果那样相同）；等同于（与如果且仅如果相同）。

我们还有五条规则来确定一个陈述是真还是假：

1. 如果一个陈述的否定为真，那么该陈述为假。

2. s t a t e m e n t 1 且 s t a t e m e n t 2 为真，只有当s t a t e m e n t 1 和s t a t e m e n t 2 都为真时才为真。

3. 如果s t a t e m e n t 1 或 s t a t e m e n t 2 为真，那么只有当s t a t e m e n t 1 或s t a t e m e n t 2 为真时，该语句为真（或者两者都为真）。

4. s t a t e m e n t 1 implies s t a t e m e n t 2 是真的，除非当 s t a t e m e n t 1 为真且 s t a t e m e n t 2 为假时。

5. s t a t e m e n t 1 equivalent to s t a t e m e n t 2 当且仅当 s t a t e m e n t 1 和 s t a t e m e n t 2 都为真或都为假。

我们可以通过一个真值表总结上述规则，考虑到 s t a t e m e n t 1 和 s t a t e m e n t 2 的状态以及它们的组合使用五个允许的运算符。在下面的真值表中，我们使用 S 1 代表 s t a t e m e n t 1，使用 S 2 代表 s t a t e m e n t 2 以节省空间：

我们可以通过简单的递归评估使用上述表格计算任何复杂语句的真值。例如，如果我们处于一个 S 1 为真，S 2 为假，且 S 3 为真的世界中，那么该语句：

非 S 1 且 ( S 2 或 S 3 ) ⟺ F 且(F 或 T) = F 且 T = F。

为了能够使用命题逻辑推理和证明定理，建立逻辑等价是有帮助的，意味着具有完全相同真值表的陈述，因此它们可以在推理过程中相互替换。以下是一些逻辑等价的示例：

• 与的交换律： S 1 与 S 2 ⟺ S 2 与 S 1 。

• 或的交换律： S 1 或 S 2 ⟺ S 2 或 S 1 。

• 双重否定消除：非(非 S 1 ) ⟺ S 1 。

• 逆否命题： S 1 蕴含 S 2 ⟺ 非( S 2 ) 蕴含 非( S 1 ) 。

• 蕴含消除： S 1 蕴含 S 2 ⟺ 非( S 1 ) 或 S 2 。

• 德摩根定律：非( S 1 且 S 2 ) ⟺ 非( S 1 ) 或 非( S 2 )。

• 德摩根定律：非( S 1 或 S 2 ) ⟺ 非( S 1 ) 且 非( S 2 )。

让我们通过展示它们具有相同的真值表来证明 S 1 蕴含 S 2 ⟺ 非( S 1 ) 或 S 2，因为这种等价对于一些人来说并不那么直观：

展示逻辑等价性有用的一个例子是反证法推理方式：为了证明陈述 S 1 意味着陈述 S 2 ，我们可以假设我们有 S 1 ，但同时我们没有 S 2 ，然后我们得出一个错误或荒谬的结论，这证明我们不能假设 S 1 而不得出 S 2 。我们可以使用命题逻辑等价性验证这种证明方式的有效性，即 S 1 意味着 S 2 ：

S 1 意味着 S 2 = 真 ⟺

非（ S 1 ）或 S 2 = 真（蕴含消除） ⟺

非（非（ S 1 ）或 S 2 ）= 非（真） ⟺

S 1 和 非（ S 2 ）= 假（德摩根定律和双重否定）。

我们赋予命题逻辑框架推理规则，这样我们就能够从一个陈述（简单或复杂）顺序推理到下一个，并达到所需的目标或正确证明一个陈述。以下是一些伴随命题逻辑的推理规则：

• 如果 S 1 意味着 S 2 是真的，并且我们已知 S 1 ，那么我们可以推断 S 2 。

• 如果 S 1 和 S 2 是真的，那么我们可以推断 S 1 。同样，我们也可以推断 S 2 。

• 如果 S 1 等价于 S 2 ，那么我们可以推断（ S 1 意味着 S 2 ）和（ S 2 意味着 S 1 ）

• 相反，如果（S 1 蕴含 S 2 ）和（S 2 蕴含 S 1 ）那么我们可以推断出（S 1 等价于 S 2 ）。

最后强调命题逻辑不适用于大型环境，并且不能有效地捕捉普遍关系模式。然而，命题逻辑为一阶逻辑和高阶逻辑提供了基础，因为这些逻辑建立在命题逻辑的机制之上。

从少量公理到整个理论

上述推理规则是正确的：它们只允许我们证明真实陈述，即给定一个真实陈述和一个与之相符的推理规则，我们得到一个真实陈述。因此，正确推理规则提供的保证是它们不允许从真实陈述中推导出错误陈述。我们需要比这个保证稍微多一点。

当我们能够仅使用系统的知识库（公理）和推理规则推断所有可能的真实陈述时，逻辑框架是完备的。系统的完备性的概念非常重要：在所有数学系统中，如数论、概率论、集合论或欧几里得几何中，我们从一组公理开始（数论和数学分析的皮亚诺公理，概率论的概率公理），然后使用逻辑推理规则从这些公理中推导定理。在任何数学理论中的一个主要问题是公理和推理规则是否确保其完备性和一致性。

然而，没有一阶理论有足够的力量来唯一描述具有无限域的结构，比如自然数或实数线。可以在更强的逻辑中获得完全描述这两个结构的公理系统（即，范畴公理系统），比如二阶逻辑。

在代理中编码逻辑

在继续进行一阶逻辑之前，让我们回顾一下在具有命题逻辑的 AI 代理环境中学到的内容。以下过程很重要，对于更具表现力的逻辑来说也是一样的：

• 我们在形式为真实陈述的初始知识库（公理）中编写。

• 我们编写推理规则。

• 代理感知其世界当前状态的某些陈述。

• 代理可能有或没有目标陈述。

• 代理使用推理规则推断新的陈述，并决定要做什么（移动到下一个房间，打开门，设置闹钟，等等）。

• 代理系统的完备性（知识库和推理规则的结合）在这里很重要，因为它允许代理在足够的推理步骤中推导出任何可满足的目标陈述。

确定性和概率机器学习如何适应其中？

机器学习（包括）神经网络的前提是我们不将初始知识库编程到代理中，也不编写推理规则。相反，我们编写的是一种表示输入数据、期望输出和将输入映射到输出的假设函数的方法。然后代理通过优化目标函数（损失函数）来学习函数的参数。最后，代理使用学到的函数对新的输入数据进行推理。因此，在这种情况下，知识库和规则可以通过学习期间或推理期间进行分离。在学习期间，知识库是数据和假设函数，目标是最小化损失，规则是优化过程。学习后，代理使用学到的函数进行推理。

如果我们将确定性假设函数替换为数据特征的联合概率分布，我们可以以完全相同的方式思考概率机器学习模型。一旦代理学会了它，就可以用于推理。例如，贝叶斯网络对于不确定知识的作用类似于命题逻辑对于确定知识的作用。

一阶逻辑

• 代理的世界中存在哪些对象？

“陈述、对象和它们之间的关系。”

• 代理如何感知对象的状态？

“真（1）、假（0）或未知。”

命题逻辑非常适合说明基于知识的代理如何工作，并解释某种逻辑的“语言”和推理规则的基本规则。然而，命题逻辑在能够表示的知识和推理方式方面存在局限。例如，在命题逻辑中，这样的陈述：

所有年龄超过十八岁的用户都可以看到这则广告。

可以表达为一个“蕴含”陈述（与“如果那么”相同），因为这种语言存在于命题逻辑框架中。这就是我们如何在命题逻辑中将上述陈述表达为推理的方式：

（年满十八岁的用户意味着看广告）并且（年满十八岁 = T）然后我们可以推断（看广告 = T）。

现在让我们考虑一个略有不同的陈述：

一些年满十八岁的用户点击广告。

突然之间，命题逻辑的语言不足以表达上述陈述中的“一些”数量！仅依赖于命题逻辑的代理将不得不将整个陈述存储在其知识库中，然后不知道如何从中推断出任何有用信息。也就是说，假设代理获得了用户确实年满十八岁的信息，它无法预测用户是否会点击广告。

我们需要一种语言（或逻辑框架），其中的词汇包括“存在”和“对于所有”，这样我们就可以写出类似以下的内容：

对于所有年满十八岁的用户，存在一部分点击广告的用户。

这两个额外的量词正是“一阶逻辑”框架提供的。这种词汇量的增加使我们能够更经济地存储知识库中的内容，因为我们能够将知识分解为对象和它们之间的关系。例如，与其存储：

所有年满十八岁的用户都看广告；

年满十八岁的一些用户点击广告；

一些年满十八岁的用户购买产品；

点击广告的一些用户购买了产品；

作为一个只有命题逻辑框架的代理的知识库中的三个独立陈述（我们仍然不知道如何从中推断出任何有用信息），我们可以在一阶逻辑中存储两个陈述：

对于所有年满十八岁的用户，看广告 = T；

对于所有看广告 = T 的用户，存在一部分点击广告的用户；

对于所有点击广告的用户，存在一部分购买产品的用户。

请注意，在命题逻辑和一阶逻辑中，仅凭上述陈述，我们将无法推断特定年满十八岁的用户是否会点击广告或购买产品，甚至无法推断这样做的用户的百分比，但至少在一阶逻辑中，我们有语言来更简洁地表达相同的知识，并且以一种能够进行一些有用推断的方式。一阶逻辑与命题逻辑最显著的特征是，在命题逻辑已有的基础语言上增加了诸如“存在”和“对于所有”之类的量词，这些量词已经存在于命题逻辑中的“非”、“和”、“或”、“蕴含”和“等价于”之上。这一小的增加打开了一个表达对象与其描述以及它们之间关系的大门：

命题逻辑和一阶逻辑的强大之处在于它们的推理规则独立于领域及其知识库或公理集。现在，为了为特定领域，如数学领域或电路工程，开发一个知识库，我们必须仔细研究该领域，选择词汇，然后制定支持所需推理的公理集。

对于所有和存在之间的关系

对于所有和存在通过否定相互连接。以下两个陈述是等价的：

• 所有年满十八岁以上的用户看到广告。

• 不存在一个年满十八岁以上的人不看广告。

在命题逻辑语言中，上述两个陈述翻译为：

• 对于所有用户，使得用户>18 为真，看到广告为真。

• 不存在这样的用户，使得用户>18 且看到广告是假的

这些是关系：

• not(存在一个 x 使得 P 为真) ⟺ 对于所有 x，P 为假。

• not(对于所有 x，P 为真) ⟺ 存在一个 x 使得 P 为假。

• 存在一个 x 使得 P 为真 ⟺ 不是对所有 x，P 为假。

• 对于所有 x，P 为真 ⟺ 不存在一个 x 使得 P 为假。

我们不能在不欣赏转向一阶逻辑所获得的表达能力的情况下离开这一部分。这种逻辑框架现在足以支持这样的断言和推理：

神经网络的普适逼近定理

粗略地说，普适逼近定理断言：对于所有连续函数，存在一个神经网络可以将函数近似到我们希望的程度。请注意，这并不告诉我们如何构建这样的网络，它只是断言其存在。尽管如此，这个定理足够强大，使我们对神经网络在各种应用中近似所有种类的输入到输出函数的成功感到不惊讶。

推断关系

父母和孩子之间具有相反的关系：如果 Sary 是 Hala 的孩子，则 Hala 是 Sary 的母亲。此外，关系是单向的：Sary 不能是 Hala 的母亲。在一阶逻辑中，我们可以分配两个指示关系的函数：母亲和孩子，可以由Hala和Sary或任何其他母亲和孩子填充的变量，以及这些函数之间对所有输入变量成立的关系：

对于所有的 x，y，如果 mother(x,y)=T，则 mother(y,x)=F；

对于所有的 x，y，mother(x,y) ⟺ child(y,x)。

现在，如果我们给一个代理提供这些知识，并告诉它 Hala 是 Sary 的母亲，或者 mother(Hala, Sary)=T，那么它将能够回答类似以下的查询：

• Hala 是 Sary 的母亲吗？T

• Sary 是 Hala 的母亲吗？F

• Sary 是 Hala 的孩子吗？T

• Hala 是 Sary 的孩子吗？F

• Laura 是 Joseph 的母亲吗？未知

请注意，在命题逻辑世界中，我们将不得不将每个陈述单独存储，这是极其低效的。

概率逻辑

• 代理的世界中存在哪些对象？

陈述

• 代理如何感知对象的状态？

一个介于 0 和 1 之间的概率值，表示一个陈述为真的可能性。

概率是一阶逻辑的扩展，允许我们量化对陈述真实性的不确定性。我们不是断言一个陈述是真还是假，而是为我们对该陈述真实性的信念程度分配一个介于零和一之间的分数。命题和一阶逻辑提供了一组推理规则，允许我们确定一些陈述的真实性，假设其他一些陈述为真。概率理论提供了一组推理规则，允许我们确定一个陈述在其他陈述的真实性可能性的基础上有多大可能是真的。

处理不确定性的这种扩展比一阶逻辑具有更具表现力的框架。概率公理允许我们扩展传统逻辑真值表和推理规则：例如，P(A)+P(not (A))=1：如果 A 为真，则 P(A)=1 且 P(not A)=0，这与关于陈述及其否定的一阶逻辑一致。

将概率理论视为一阶逻辑的自然扩展对于需要将事物连接在一起而不是将它们视为不同事物的思维是令人满意的。这样看待也自然地导致了关于数据的贝叶斯推理，因为我们在收集更多知识并做出更好推断时更新代理人的先验分布。这以最逻辑的方式将我们所有的主题联系在一起。

模糊逻辑

在代理人的世界中存在哪些对象？具有[0,1]之间真实程度的陈述。代理人如何感知对象的状态？已知的区间值。

命题和一阶逻辑的世界是黑白分明的，真或假。它们允许我们从真实陈述开始推断其他真实陈述。这种设置非常适合数学，其中一切都可以是对或错（真或假），或者适合具有非常明确边界的 SIMS 的视频游戏。在现实世界中，许多陈述可能是模糊的，无论它们是完全真（1）还是完全假（0），这意味着它们存在于真实度的尺度上，而不是在边缘上：巴黎浪漫；她很快乐；黑暗骑士电影很好。模糊逻辑允许这样做，并为陈述分配 0 到 1 之间的值，而不是严格的 0 或严格的 1：

巴黎浪漫（0.8）；她很快乐（0.6）；黑暗骑士电影很好（0.9）。

在一个真假程度呈滑动尺度的模糊世界中如何进行推理？这绝对不像在真假世界中进行推理那样直截了当。例如，给定上述真值，陈述巴黎浪漫且她很快乐有多真实？我们需要新的规则来分配这些值，并且我们需要了解上下文或领域知识。另一个选择是单词向量，我们在第七章中讨论过。这些向量在不同维度中携带单词的含义，因此我们可以计算代表单词巴黎的向量与代表浪漫点的向量之间的余弦相似度，并将其分配为巴黎浪漫的陈述的真值。

请注意，概率理论中的信念程度与模糊逻辑中的真实度尺度不同。在概率逻辑中，陈述本身是明确的。我们想要推断的是明确陈述为真的概率。概率理论不推理不完全真实或假的陈述：我们不计算巴黎浪漫的概率，而是计算随机询问巴黎是否浪漫的人会回答真或假的概率。

关于模糊逻辑的一个有趣之处在于，它将其他逻辑中存在的两个原则抛在一边：如果一个陈述是真的，那么它的否定就是假的原则，以及两个矛盾的陈述不能同时为真的原则。这实际上打开了不一致性和开放宇宙的大门。在某种程度上，模糊逻辑并不试图纠正模糊性，而是接受它并利用它来允许在边界不清晰的世界中运作。

时间逻辑

还有其他类型的特殊用途逻辑，其中某些对象，比如本节中的“时间”，受到特别关注，有自己的公理和推理规则，因为它们对需要表示的知识和对其进行推理至关重要。时间逻辑将时间依赖性以及关于时间依赖性的公理和推理规则置于其结构的前沿，而不是将包含时间信息的陈述添加到知识库中。在时间逻辑中，陈述或事实在某些时间点或时间间隔上是真实的，这些时间是有序的。

代理的世界中存在哪些对象？陈述、对象、关系、时间。代理如何感知对象的状态？真（1）、假（0）或未知。

在时间逻辑中，我们可以表示如下陈述：

• 当时间是早上 7 点时，闹钟会响。

• 每当向服务器发出请求时，最终会授予访问权限，但永远不会同时授予两个请求。

与人类自然语言的比较

我们在整章中讨论了能够表达人类自然语言似乎轻松做到的知识的逻辑系统。我刚刚用英语写了一本关于数学的整本书，而不是使用任何其他技术语言。我们是如何做到的？人类如何表示和扩展他们的知识库，自然语言使用什么规则来表示和推理，使其如此富有表现力？此外，使用的特定自然语言并不重要：任何多语言的说话者都知道思想，但不一定知道他们用来表达这种思想的特定语言。人们知道或想要表达的东西有一种内在的非语言表示。它是如何工作的，我们如何解锁它的秘密并将其传授给我们的机器？

与人类语言类似，如果我们用两种不同的形式逻辑来表示相同的知识，那么我们可以推断相同的事实（假设逻辑具有完整的推理规则）。唯一的区别在于哪种逻辑框架提供了更容易的推理路径。

也就是说，人类自然语言在许多情况下允许模糊性，并且不能在没有数学形式和所采用的形式逻辑的情况下做出绝对的数学断言。我不能要求一个没有 GPS 系统的人预测从 DC 到 NYC 的驾驶时间。

总结和展望

一个具有各种类型逻辑的 AI 代理可以表达关于世界的知识，对其进行推理，回答查询，并进行推断，这些都在这些逻辑的边界内是允许的。

我们讨论了各种逻辑框架，包括命题逻辑、一阶逻辑、概率逻辑、模糊逻辑和时间逻辑。

下一个自然的问题将是：代理的知识库应该包含什么内容？如何表示关于世界的事实？知识应该在什么框架中表示和推理？

• 命题逻辑？

• 一阶逻辑？

• 用于推理计划的分层任务网络？

• 用于处理不确定性推理的贝叶斯网络？

• 因果图和因果推理，代理可以有选择地违反逻辑规则？

• 用于随时间推理的马尔可夫模型？

• 用于推理图像、声音或其他数据的深度神经网络？

另一个可能的下一步是深入研究我们讨论过的任何逻辑框架，学习它们的推理规则和现有的推理算法，以及它们的优势、劣势以及适用于哪种知识库。这些研究中的一个重要主题是调查提供完整证明系统的推理规则，意味着一个系统，其中公理或知识库以及规则允许证明所有可能的真陈述。这些规则包括命题逻辑的分辨推理规则和一阶逻辑的广义分辨推理规则，适用于特定类型的知识库。这些对于理论（证明数学定理）和技术（验证和合成）软件和硬件都很重要。最后，一些逻辑比其他逻辑更具表现力，意思是我们可以用更具表现力的逻辑表示的一些陈述，不能用较不具表现力的逻辑语言中的任何有限数量的陈述来表达。例如，高阶逻辑（我们在本章中没有讨论）比一阶逻辑（我们在本章中讨论过，足够强大以支持整个数学理论）更具表现力。

第十三章：人工智能和偏微分方程

《壮志凌云 2》（2022 年电影）中的第一场景展示了 Maverick（汤姆·克鲁斯）操纵一架实验军用飞机，并将其推向声速的 10 倍（10 马赫），然后在大约 10.2 马赫时失去稳定性。到目前为止，最快的非虚构有人飞行器可以达到 6.7 马赫（图 13-1）。无论是真实的速度还是虚拟的（尚未实现），看到物理学、数学和工程学共同将这些飞机放入空中，特别是它们壮观的空中机动，都是令人着迷的。在观看 Maverick 令人敬畏的空战和 10 马赫的场景时，会想起一些偏微分方程（PDEs）：

图 13-1。有史以来最快的有人飞行器（图片来源或需要类似于这个的无版权图片）

波动传播的波动方程：想象声速、空气中声波的传播，以及由于空气温度和密度的变化而导致不同高度声速的变化。

Navier Stokes 方程用于流体动力学：想象流体流动、气流隧道和湍流。

燃烧的 G 方程：想象飞机发动机中的燃烧和飞机尾部喷出的火焰。

材料弹性方程：想象飞机机翼板、升力、机翼板的屈曲（在压缩下发生的应力平面外移动的过程图 13-2），由于负载引起，这反过来降低了机翼的承载能力。当承载能力低于设计极限时，故障就会发生。

图 13-2。飞机的屈曲（图片来源）。

PDE 模拟也会让人想起：想象一下飞行路径模拟，机组人员在计算机屏幕上实时观看 Maverick 的飞行过程并与他交谈。

清单还在继续。我们在这里声称我们之所以让飞机飞行是因为我们写下并解决了 PDE 吗？不是。航空博物馆讲述了莱特兄弟的故事、他们的实验以及航空工业的发展。科学和实验是相辅相成的。我们想要宣称的是，我们可以发明、改进和优化各种设计，因为有了微分方程和数学。

什么是偏微分方程？

PDE 是一个等式，意味着左边等于右边，涉及到一个多变量函数以及它的任何偏导数。函数关于某个变量的偏导数衡量了函数相对于该变量的变化率。普通微分方程（ODEs）是那些只涉及一个变量的函数的方程，比如只有时间、只有空间等（与多个变量相反）及其导数。动态系统是一个非常重要的 ODE，描述了我们关心的系统状态随时间的演变，比如一个粒子系统或商业环境中客户的状态。ODE 涉及系统状态的时间导数，动态规定为系统状态、系统物理参数和时间的函数。ODE 看起来像 dx →(t) dt = f ( x → ( t ) , a ( t ) , t ) 。我们将在本章多次讨论动态系统。大多数情况下，如果我们能够将 PDE 转化为 ODE 系统，或者甚至转化为动力系统，那么问题基本上就解决了。

自然没有给我们确定性函数，也没有给我们用来产生我们周围观察到的世界并能准确测量的联合概率分布。到目前为止，它一直保守这些秘密。然而，它确实给了我们一些方法来测量、评估或制定关于事物如何相对于彼此变化的法则，这正是偏微分方程所代表的。因为事物如何变化实际上就是导数。

解决偏微分方程的目标是撤销微分算子，以便我们可以恢复函数而不带有任何导数。因此，我们寻找偏微分方程代表的微分算子的精确或近似逆（或伪逆）。积分可以撤销导数，因此偏微分方程的解表示通常涉及一些核函数对 PDE 的输入数据（其参数、初始和/或边界条件）的积分。随着本章的发展，我们将详细阐述这一点。

人们通常将 ODE 和 PDE 分类为类型。我对此的看法是，除非我们恰好在个人工作中处理这些特殊的 ODE 或 PDE，并且这些的解对人类的未来有直接和立即的影响，否则我们不应该让自己困惑于分类。当你在本章中遇到某种类型，比如非线性抛物线或反向随机，接受这个名称然后直接理解我试图表达的观点。甚至不要尝试谷歌这些术语。这就像你谷歌你的症状，互联网告诉你明天就会死一样。自己小心。

用微分方程建模

微分方程模拟了现实世界中无数的现象，从空气湍流到星系的运动，再到纳米尺度材料的行为，再到金融工具的定价，再到与对手和多个玩家的游戏，再到人口流动和增长。典型的偏微分方程课程跳过了建模步骤，因此我们最终研究的偏微分方程似乎是突如其来的，但事实并非如此。偏微分方程的来源和分析解决它们一样重要。通常，偏微分方程表达了一些守恒定律，比如能量、质量、动量等与我们特定应用相关的守恒定律。许多偏微分方程是守恒陈述的表达，看起来像：

时间内数量的变化率=增益-损失

现在当我们有一个有界域时，偏微分方程在域的内部起作用，但我们需要伴随边界条件，告诉我们域的边界发生了什么。如果域是无界的，那么我们需要远场条件，告诉我们当x → ∞时发生了什么。我们使用极限符号来写这些条件。如果偏微分方程在时间上有导数，那么我们需要一些初始时间条件或结束时间条件。我们需要多少这些条件取决于偏微分方程的阶数。将这些视为我们需要解决多少方程以解决多少未知数。未知数是偏微分方程的积分常数。当我们解决偏微分方程时，我们寻求有关函数的信息，给出其导数的信息。为了消除这些导数并恢复函数，我们必须积分偏微分方程，沿途获得积分常数。我们需要边界和/或远场条件来解决这些常数。

不同尺度的模型

忠实模拟自然的现实模型需要考虑所有重要变量以及它们的相互作用，有时在不同尺度的空间和时间。编写数学模型的方程需要一些工作。一旦制定，它们就是优雅的，将大量信息压缩成几行方程。这些方程涉及函数、它们的导数和模型的参数，通常比制定方程更难解决。此外，如果两个模型描述不同尺度上相同的现象，比如一个在原子尺度上（快速摆动的分子）和另一个在更大尺度上，比如在微观或宏观尺度（我们观察到的尺度），那么这两个模型的方程看起来会非常不同，甚至可能依赖于不同科学领域的物理定律。例如，想象一下描述分子水平上气体运动（粒子速度、位置、作用于其上的力等）以及如何将其与在宏观尺度观察到的气态系统的热力学联系起来。或者想想原子如何结合形成晶体结构，以及这些结构如何转化为材料性质，比如导电性、渗透性、脆性等。自然的问题是，我们是否可以在不同尺度上成功地调和这样的模型？更准确地说，如果我们将一个模型的极限取到另一个模型的范围，我们会得到相同的结果吗？这些都是分析师要解决的问题类型。调和不同尺度模型验证了它们，并统一了数学和科学的不同领域。

偏微分方程的参数

我们为一个模型写下的偏微分方程通常涉及参数。这些参数与我们建模的物理系统的属性有关。例如，对于热方程

u t ( x → , t ) = α Δ u ( x → , t ) ,

参数α是扩散系数，这是一个物理常数，取决于扩散物质的性质和其扩散到的介质的性质。我们通常从实验获得的参考表中获取这些值。它们对工程目的非常重要。当我们的方程模拟现实时，我们必须使用从这些真实实验或观测数据中导出的参数值。但实验和观测数据通常存在噪声，缺失值，未解释的异常值，以及各种数学模型的困难。很多时候，我们甚至没有我们方程中的参数的实验值。实验可能很昂贵（想想大型强子对撞机）甚至不可能。因此，我们必须使用间接方式学习参数值，基于实验、观测和计算机模拟值的可访问组合的一些其他变量。从历史上看，许多这些参数值是手动调整的，以适应某些期望的结果，这是不好的！我们应该对进入模拟的参数值的选择有明确的理由。我们将看到机器学习如何帮助 PDEs 在从数据中学习参数值。

在 PDE 中改变一件事可能是一件大事

如果你在大学里上过偏微分方程（PDEs）课程，请回想一下你学过的最简单的方程，也许是在一个类似图 13-3 中的棒上的热扩散方程。如果你没有学过 PDEs，不要担心它的细节。热方程的公式是：

u t ( x , t ) = α Δ u ( x , t ) .

在这里，u ( x , t )表示棒上点x处和时间t处的温度，操作符Δ是x的二阶导数（所以Δ u ( x , t ) = u xx ( x , t )），因为棒只有一维，如果忽略其厚度。在更高维度中，操作符Δ是每个维度中二阶导数的总和。

现在让我们将域从一个棒改变成一个奇怪形状的板：不是正方形、圆形或椭圆形，而是一些不规则的形状，例如，比较图 13-3 和图 13-4。我们在初级 PDE 课程中学到的适用于棒的真实解的公式，在奇怪的板上不再适用。情况变得更糟。我们不仅通过改变域失去了对解析解的访问：当我们尝试用新域数值解微分方程时，新的几何形状突然使事情复杂化。现在我们必须找到一个离散网格，准确地描绘出新域的形状及其所有细节，然后我们必须在该网格上计算一个数值解，使其满足域内的方程，并满足沿着看起来奇怪的边界的边界条件。

图 13-3。在棒上研究热扩散对于那些学过 PDEs 的人来说是容易的，无论是在分析上还是在数值上（图片来源）。

图 13-4。研究不规则几何形状上的热扩散并不容易（图片来源）。

这在 PDE 中很正常：改变一点微小的东西，突然我们学到的所有数学方法可能就不再适用了。这些变化包括：

• 改变域的形状，

• 改变边界条件的类型，

• 在系数中引入空间或时间依赖性（参数），

• 引入非线性，

• 引入更多导数项（高阶）,等等

• 引入更多变量（更高维度）

这令人沮丧的一面使许多学生不愿专攻 PDE（没有人想成为只擅长一种方程的专家，这种方程可能与现实建模相去甚远）。我们不想被打消积极性。我们想看到全局图景。自然现象非常多样化，因此我们必须接受 PDE 及其解决方法的变化作为我们理解和预测自然的探索的一部分。此外，PDE 是一个庞大而古老的领域。已经在统一许多线性和非线性偏微分方程家族的方法上取得了许多进展，并且在这一过程中发现了许多强大的分析。现状是 PDE 是一个非常有用的领域，它没有，也可能永远不会有，一个统一的理论。

一般来说，非线性 PDE 比线性 PDE 更困难，高阶 PDE 比低阶 PDE 更困难，高维 PDE 比低维 PDE 更困难，PDE 系统比单个 PDE 更困难，我们无法为大多数 PDE 编写显式解的公式，许多 PDE 只在弱形式下满足。许多 PDE 的解随时间演变会产生奇点（想想波动方程和激波）。开发 PDE 理论的数学家花费时间证明 PDE 的解的存在，并试图理解这些解的正则性，即它们在实际拥有涉及 PDE 的导数方面有多好。这些使用了许多高级微积分方法，寻找积分的估计（上下界的不等式）。

AI 可以介入吗？

如果我们有方法可以考虑 PDE 的变化、域的几何形状、边界条件和参数范围的变化，类似于实际的物理问题，那不是很棒吗？许多行业和科学领域都将目光投向 AI 和深度学习，以解决长期存在的问题或为其带来新的启示。过去十年在计算非常高维问题的解决方案方面取得的巨大进步有潜力改变许多被维度诅咒束缚的领域。这样的转变将对 PDE 和整个人类产生深远影响，因为 PDE 及其解锁的大量科学。

在本章的其余部分，我们强调微分方程社区在传统方法中遇到的障碍，以及如何将真实和嘈杂的数据拟合到他们的模型中。然后我们说明了机器学习如何帮助绕过或减轻这些困难。我们还区分了两个问题：

1. AI 对 PDE 有什么作用？

2. PDEs 对 AI 有什么作用？

在为 PDE 提供服务时，我们需要确保机器学习的标志性特征——训练函数、损失函数和优化设置清晰，以及监督学习的标签或目标。将 PDE 的成熟领域融入到机器学习环境中并不是非常直接。理想情况下，我们需要建立从 PDE 到其解决方案的映射。这需要一些暂停和思考。

数值解非常有价值

编写描述自然现象的数学模型，以方程描述涉及变量如何相互作用，只是第一步。我们需要解决这些方程。

分析解比数值解更难，因为模型越接近自然，方程就越复杂。即使分析方法无法为解提供公式，它们仍然为解的重要属性提供了宝贵的见解。数值解比分析解更容易，因为它们涉及将连续方程离散化，将我们从连续函数的领域转移到离散数字的领域，或者从无限维函数空间转移到有限维向量空间（线性代数），这是我们的计算机建立的。数值解为模型的真实分析解提供了宝贵的见解，并且在可用时易于与实验观察进行测试。它们也易于调整，因此对实验设计是很好的辅助。

我们可以在任何尺度上设计数值解，但当我们尝试实施和计算我们的数值方案时，维度的诅咒会困扰我们。在许多情况下，为了模拟系统自然演化的一秒钟，需要大量的计算能力，因此必须进行大量的维度降低和简化假设，这使我们离真实解的良好近似更远。令人沮丧的是，这已经成为常态而非例外。

连续函数 vs 离散函数

函数f ( x ) = x 2 - 3在整个实数线上是连续的( - ∞ , ∞ )。当我们为机器处理的数值方案离散化它时，首先，定义域不能再是整个实数线，因为机器尚不能概念化无限域。因此，我们的第一个近似是将定义域大幅缩减到某个有限区间[-N,N]，其中 N 是一个大数。我们的第二个近似是将这个有限区间离散化，再次大幅减少，从一个连续区间[-N,N]到仅有限的一组点。如果我们使用许多点，那么我们的网格将更加精细，我们的近似将更好，但计算成本会增加。假设我们只使用 6 个点来离散化区间[-5,5]：-5，-3，-1，1，3，5，那么我们的连续函数将被减少为一个只有六个条目的向量：

f ( x ) = x 2 - 3 is continuous on ( - ∞ , ∞ ) discretef → = (-5) 2 - 3 (-3) 2 - 3 (-1) 2 - 3 1 2 - 3 3 2 - 3 5 2 - 3 = 22 6 - 2 - 2 6 22

图 13-5 显示了连续函数及其仅有六个点的极不充分的近似。

图 13-5。将连续函数离散化为仅有六个点的向量。我们失去了点之间所有连续的丰富信息。

我们仍然需要离散化导数

我们可以通过在一个区间中选择点来离散化一个函数f(x)，就像我们之前所做的那样。微分方程包含函数的导数，比如f x , Δ f，而不仅仅是函数。因此，我们必须离散化导数，或者找到其他方法将问题从函数空间（如连续空间）降维到向量空间（这样我们就可以使用线性代数和计算机进行计算）。有限差分和有限元是两种流行的微分方程离散化方法。我们将很快介绍它们，以及基于随机漫步的概率蒙特卡洛方法。

数值解的简单性之一是，当我们离散化时，我们进行了近似，将无限连续减少为有限的点集，失去了在有限点集之间的所有无限详细信息。也就是说，我们牺牲了高分辨率。对于某些方程，有分析方法可以帮助我们准确量化通过离散化失去了多少信息，并通过将离散网格的大小趋近于零的极限来帮助我们回到准确的分析解。

离散连续函数及涉及它们的方程具有优势：易于访问。我们可以教高中生如何数值解描述杆中热量扩散的热方程（本章后面会讨论），但在他们完成大学微积分和线性代数课程之前，我们无法教他们如何解析解决它。这就是为什么我们必须在孩子很小的时候教他们如何对现实生活中的问题建模和计算数值解。数值解的简单性和计算的力量有助于解决各种人类问题，这应该成为我们教育体系的优先事项。我怀疑自然并不希望我们在计算周围世界如何运作之前建立和解开疯狂复杂的数学理论。我也怀疑自然并不像某些数学理论那样复杂（尽管它们仍然以自身的方式有趣，即使只是作为逻辑和推理规则能引导我们走多远的练习）。

我的博士论文中的 PDE 主题

我的博士论文故事展示了数学理论和数值方法之间的巨大差异。这也是本章某些主题的良好原型。在我的博士论文中，我研究了一个数学模型，描述了原子在薄晶体表面的阶梯状表面上不同级别之间扩散和跳跃的方式。这对材料科学界和设计我们电子设备中所需微型部件的工程师很有用。随着时间的推移，晶体的形状会因其表面上原子的移动而发生变化。最终，晶体会放松成某种稳定的形状。

立即离散化并进行计算机模拟

当我写下这些方程时，我能够进行计算机模拟，展示晶体形状随时间的演变。这是我研究过的偏微分方程之一（并不是你应该关心它或知道其中的函数指的是什么）：

u t ( h , t ) = - u 2 (u 3 ) hhhh where h ∈ [ 0 , 1 ] , t ∈ 0 , ∞ )

对于训练有素的人来说，这是一个高度非线性的四阶方程：未知函数u既平方又立方。它的立方体在空间中出现了四个导数，我们可以将其视为距我们想要评估的函数有四个度的距离。[图 13-6 展示了我在空间中使用有限差分（我们将很快讨论有限差分）对我的 PDE 进行离散化，以及其边界条件（在点 0 和 1 处的函数值）。

图 13-6。离散微分方程及其连续模拟。

通常，方程非线性程度越高，它就越不愿意服从标准的分析技术。我仍然需要进行数学分析，并证明数值模拟显示的形状确实是方程要求解决方案采取的方式，也就是说，它是分析解，也是自然在可能的其他解决方案中选择的方式。我不得不花费接下来的两年时间只做这件事。我得出的结论是，对于一个物理上不现实的一维晶体*，我在一个微小的案例中得出了一个微小的证明！我必须将我的方程减少到只有一个维度，才能够对其进行任何数学分析。

维度的诅咒

一个始终存在的主题是问题的维度性：即使我进行了少于一个下午的数值模拟，我也只能对一维域上的方程进行模拟。当我尝试进行模拟以建模放置在平面上的现实薄膜实验晶体时，也就是说，当我必须将二维表面离散化而不是一维段时，离散点的数量从一维段上的 100 个跳到了二维表面上的 100,000 个。当时我的电脑无法数值求解在一维情况下只需几秒钟的相同方程。诚然，我当时还不够复杂，无法在大学服务器上进行计算或使用并行计算（我不知道当时是否已经发明了分布式云计算）。这就是维度的诅咒。随着维度数量的增加，计算开销呈指数级增长。现在让我们想想那些在开始时就具有高维度域的方程，比如用于量子粒子系统的薛定谔方程，用于定价金融工具的 Black Scholes 方程，或者用于动态规划的 Hamilton-Jacobi-Bellman 方程，该方程模拟多人游戏或资源分配问题。那么想象一下维度的诅咒的程度。

问题的几何形状

我们之前提到过但值得重复的另一个主题是：域的形状很重要，无论是对于分析还是数值计算。在我不切实际的一维情况下，我使用了一个段作为方程的定义域。在二维情况下，我有更多选择：矩形（具有规则网格的优势），圆形（具有径向对称性的优势），或者任何其他通常没有名称的现实非规则形状。对于分析来说，矩形和圆形域是最容易的（对于我的特定方程来说不是，但对于其他更简单的方程如线性方程来说是）。对于模拟，这些也很好。但是当域的形状不规则时，这是大多数现实事物的情况，如果我们想忠实地捕捉域，我们需要在不规则部分放置更多的离散点。维度的诅咒再次显现：更多的点意味着更长的向量和更大的输入矩阵用于计算。

模拟你关心的事物

结束我的博士故事，直到我完成学位后的十年，我才看到了一个真实的薄膜金晶体，就像我当时正在研究的那个，当时我的朋友在她的实验室里向我展示了一个薄膜金晶体。回想起来，也许我应该从那里开始，通过看到我试图模拟的真实生活中的东西。我的现在的优先事项有所不同，我总是首先询问自己是否关心我试图模拟的东西，我选择工作的模型有多接近现实，以及思考分析解是否值得为这个特定应用付出时间和精力。

离散化和维度的诅咒

研究偏微分方程的数学家喜欢连续世界，但机器喜欢离散世界。数学家喜欢分析函数，但机器喜欢计算函数。为了调和这两者，使机器能够帮助数学家，反之亦然，我们可以离散化我们的连续方程。如何做到？首先，我们离散化方程的定义域，创建一个离散网格。我们选择网格的类型（规则或不规则）以及精细程度。然后我们离散化微分方程本身，使用四种流行的方法之一：

• 有限差分：确定性，适用于离散化时间，一维或相对规则的空间几何。

• 有限元：确定性，适用于离散化更复杂的空间几何结构，也适用于随时间变化的空间几何结构。

• 变分或能量方法：这类似于有限元，但适用于一组更窄的偏微分方程。它们应该具有一个“变分原理”或一个“能量形式”，即，PDE 本身应该等价于“∇E（u）= 0”对于某个能量函数 E（u）（将函数映射到实数线）。我能获得博士学位的原因是我纯粹凭运气为我的 PDE 发现了这样一个能量函数。就像微积分函数的最小值出现在“∇f（x→）= 0”的点处一样，能量函数的最小值出现在“∇E（u）= 0”的“函数”处，但当然我们需要定义如何对“泛函”进行导数运算。

• 蒙特卡洛方法：概率性的，从离散化 PDE 开始，然后利用这一点设计一个适当的随机游走方案，使我们能够在域中的某一点“聚合”解决方案。

这些方法中的“有限”一词强调了这个过程将我们从函数的连续无限维空间转移到有限维向量空间。

如果我们用于离散化的网格太细，它会捕捉更多的分辨率，但我们最终会得到高维向量和矩阵。记住这种维度的诅咒，以及以下内容：神经网络的流行之所以飙升是因为它们似乎有一种神奇的能力来克服维度的诅咒。我们很快会看到这一点。

有限差分

我们使用有限差分来数值逼近偏微分方程中出现的函数的导数。例如，粒子的速度是其位置矢量在时间上的导数，粒子的加速度是其位置矢量在时间上的两个导数。

在有限差分逼近中，我们用域中离散点处的函数值的线性组合替换导数。回想一下，一个导数测量函数的变化率。两个导数测量凹度。更高阶导数测量更多一些科学家偶尔使用的东西。函数在一个点处的导数与其在该点附近的值如何相互比较之间的联系是相当直观的。这些逼近的数学理由依赖于微积分中的泰勒定理：

f ( x ) = f ( x i ) + f ' ( x i ) ( x - x i ) + f '' (x i ) 2 ( x - x i 2 ) + f (3) (x i ) 3! (x-x i ) 3 + ⋯ + f (n) (x i ) n! (x-x i ) n + error term ,

其中误差项取决于下一个阶导数在我们尝试使用多项式逼近的点附近的“xi”处的“f（n+1）（xi）”有多好。泰勒定理近似了一个足够好的函数在一个点附近的多项式，其系数由该点处函数的导数确定。函数在一个点处具有的导数越多，它就越好，它在该点附近的行为就越像一个多项式。

现在让我们离散化一个一维区间[a，b]，然后写出定义在该区间上的函数f(x)的导数的有限差分逼近。我们可以使用 n+1 个等间距点来离散化[a，b]，因此网格大小为 h = (b-a)/n。我们现在可以在任何这些离散点上评估f。如果我们关心某点附近的值 x_i，我们定义 f_{i+1} = f(x_i + h)，f_{i+2} = f(x_i + 2h)，f_{i-1} = f(x_i - h)，等等。在接下来的内容中，h 很小，因此一个 O(h²)方法（或更高阶的 h）比一个 O(h)方法更准确：

1. 一阶导数的 O(h)精度的前向差分逼近（使用 2 个点）：（添加图片）

   f ' ( x i ) ≈ f i+1 -f i h

2. 一阶导数的 O(h)精度的后向差分逼近（使用 2 个点）：（添加图片）

   f ' ( x i ) ≈ f i -f i-1 h

3. 中心差分逼近的 O(h²)精度，适用于高达四阶的导数（使用 2 个点，平均前向和后向差分）：（添加图片）

   f ' ( x i ) ≈ f i+1 -f i-1 2h f '' ( x i ) ≈ f i+1 -2f i +f i-1 h 2 f ''' ( x i ) ≈ f i+2 -2f i+1 +2f i-1 -f i-2 2h 3 f (4) ( x i ) ≈ f i+2 -4f i+1 +6f i -4f i-1 +f i-2 h 4

4. 中心差分逼近的 O(h⁴)精度，适用于高达四阶的导数：

   f ' ( x i ) ≈ -f i+2 +8f i+1 -8f i-1 +f i-2 12h f '' ( x i ) ≈ -f i+2 +16f i+1 -30f i +16f i-1 -f i-2 12h 2 f ''' ( x i ) ≈ -f i+3 +8f i+2 -13f i+1 +13f i-1 -8f i-2 +f i-3 8h 3 f (4) ( x i ) ≈ -f i+3 +12f i+2 -39f i+1 +56f i -39f i-1 +12f i-2 -f i-3 6h 4

O ( h k ) 是什么意思？ 这是h的数值逼近的阶数。当我们用数值逼近替换导数时，就会产生误差。 O ( h k ) 告诉我们我们产生了多少误差。显然，这取决于网格h的大小。误差应该随着网格更细而变小。为了推导这种误差界限，我们使用 f(x+h), f(x-h), f(x+2h), f(x-2h)等的泰勒展开，以及这些的线性组合来确定所需导数的逼近和我们的有限差分逼近的h阶。为了使用泰勒展开，我们假设我们正在处理的函数在我们评估它们的点上确实具有所需数量的导数。这意味着我们假设我们的函数足够好，以允许这些导数评估。如果函数在这些点附近有奇点，那么我们需要找到解决方法，比如在奇点附近使用更细的网格。

例子：让我们在[0,1]上解决y '' ( x ) = 1，带有边界条件 y(0)=-1 和 y(1)=0。这是一维有界域上的二阶线性常微分方程。

这个例子很简单，因为解析解非常容易。我们只需对方程积分两次，恢复函数而不带其导数y ( x ) = 0 . 5 x 2 + c 1 x + c 2，其中 c 是积分常数。我们将两个边界条件代入以找到 c，并获得解析解y ( x ) = 0 . 5 x 2 + 0 . 5 x - 1。然而，这个例子的重点是展示如何使用有限差分来计算数值解，而不是解析解，因为对于许多其他微分方程，解析解是不可用的，所以我们最好擅长这个。我们首先离散化域[0,1]。我们可以使用任意多的点。点数越多，我们需要处理的维度就越高，但分辨率会更好。我们只使用八个点，因此网格大小为h=1/7（图 13-7）。我们的连续[0,1]区间现在缩减为八个点（0,1/7,2/7,3/7,4/7,5/7,6/7,1）。

图 13-7。使用八个离散点离散化单位区间，这等同于七个间隔。步长（或网格大小）为h=1/7。

接下来，我们离散化微分方程。我们可以使用任何有限差分方案来离散化二阶导数。让我们选择O ( h 2 ) 中心差分，因此离散化的微分方程变为：

y i+1 -2y i +y i-1 h 2 = 1 for i = 1 , 2 , 3 , 4 , 5 , 6 .

请注意，微分方程仅在域的内部有效，这就是为什么我们在写其离散模拟时不包括 i=0 和 i=7 的原因。我们从边界条件中得到 i=0 和 i=7 处的值：y 0 = - 1 和 y 7 = 0。现在，我们有一个六个未知数的六个方程的系统，y 1 , y 2 , y 3 , y 4 , y 5 , y 6：

y 2 - 2 y 1 - 1 = 1 / 49 y 3 - 2 y 2 + y 1 = 1 / 49 y 4 - 2 y 3 + y 2 = 1 / 49 y 5 - 2 y 4 + y 3 = 1 / 49 y 6 - 2 y 5 + y 4 = 1 / 49 0 - 2 y 6 + y 5 = 1 / 49

因此，我们现在从连续世界转移到线性代数世界：

- 2 1 0 0 0 0 1 - 2 1 0 0 0 0 1 - 2 1 0 0 0 0 1 - 2 1 0 0 0 0 1 - 2 1 0 0 0 0 1 - 2 y 1 y 2 y 3 y 4 y 5 y 6 = 1 / 49 + 1 1 / 49 1 / 49 1 / 49 1 / 49 1 / 49

解决这个系统相当于求逆上面的三对角矩阵，这是我们二阶导数算子的离散模拟。在连续世界中，我们积分微分算子以恢复y(x)，在离散世界中，我们求逆离散算子以恢复离散值y i。在使用更多点离散化域时，请记住维度的诅咒。

显然，我们必须将离散值y i与它们的精确对应物y ( x i )进行比较，以查看我们仅使用八个离散点执行的有限差分方案的性能（图 13-8）。图 13-9 显示了数值解（仅使用四个离散点）与精确解析解的图形。

图 13-8. 在每个离散点比较数值解和精确解析解。

图 13-9. 数值解的图形（仅使用四个离散点）与精确解析解的对比（实线）。

现在我们可以使用有限差分来离散化任何任意阶或类型的微分方程，在任何维度的域上。我们所要做的就是离散化域并决定有限差分方案，以近似域内所有离散点处的导数。

示例：在区间x ∈ ( 0 , 1 )的内部离散化一维热方程u t = α u xx。这是一维有界空间域上的二阶线性偏微分方程。

这里，u=u(x,t)是两个变量的函数，因此我们的离散化方案应该涉及两个坐标。我们可以只在空间中离散化并保持时间连续，只在时间中离散化并保持空间连续，或者在空间和时间中都离散化。我们总是有多个数值路径。选择是好的。如果我们在空间和时间中都离散化，那么我们最终得到一个代数方程组。如果我们只在空间中离散化而不在时间中离散化，那么我们最终得到一个常微分方程组。由于 PDE 是线性的，因此离散化系统也是线性的。

让我们写出一个完整的离散方案：为了在空间中离散化，让我们使用二阶中心差分。为了在时间中离散化，让我们使用向前差分：

u i,j+1 -u i,j s = u i+1,j -2u i,j +u i-1,j h 2 for i = 1 , 2 , ⋯ , n and j = 1 , 2 , ⋯

在这样的方程中，u(x,t) 在某个初始时间可以被确定（u(x,0)=g(x)），我们想要知道 u(x,t) 随时间的演变。在上面的数值方案中，下标 j 代表离散时间，因此未知数是 u i,j+1。

（完成这部分）

有限元

有限元方法与有限差分方法不同，因为它们是基于 PDE 的弱形式而不是直接操作 PDE。弱形式是加权和平均的，因此我们考虑积分和分部积分。我们很快会回到这个问题。

在讨论有限元的一般概念之前，让我们稍微观察一下图 13-10：这显示了在圆形域上的 PDE 的有限元解。域的离散化使用三角形网格，解似乎被分段线性函数逼近。我们可以使用其他多边形形状的网格，我们可以使用比分段线性更平滑的函数，如分段二次或更高次多项式。更平滑的代价是更多的计算。

图 13-10。在圆形域上的有限元解(图片来源)。

让我们演示有限元方法如何给出以下 PDE 的数值近似解：

- Δ u ( x , y ) = f ( x , y ) for ( x , y ) ∈ Ω ⊂ ℝ 2 u ( x , y ) = 0 for ( x , y ) ∈ b o u n d a r y Ω

这是泊松方程（出现在静电学中）。没有时间演变。f(x,y)是指定的，我们正在寻找一个未知函数 u(x,y)，它在整个边界上为零，并且其二阶导数 u xx 和 u yy 加起来为*-f(x,y)*。这个 PDE 已经被广泛研究，我们有其解析解的公式，但我们只对使用有限元方法进行数值逼近感兴趣。

为此，我们将使用一个存在于无限维空间中的未知函数u(x,y)的近似，使用一个存在于有限维空间中的已知函数。有限维空间仅由有限多个线性无关函数张成。我们可以选择这些基函数，以确保我们的选择使我们的计算非常容易。我们通常选择分段线性函数或分段多项式函数，每个最小支持在网格上。这意味着基函数仅在网格的一个或两个相邻元素的顶部为非零，而在其他地方为零。因此，涉及该函数在 PDE 的整个域上的积分将简化为在网格的一个或两个元素上的积分。

在选择这些基函数之后，每个基函数都支持在少量网格元素上，我们通过这些简单且局部支持的基函数的线性组合来近似真实解u(x,y)：

u ( x , y ) ≈ u 1 b a s i s 1 ( x , y ) + u 2 b a s i s 2 ( x , y ) + ⋯ u n b a s i s n ( x , y )

现在我们必须找到线性组合的常数u i。因此，我们将问题从在连续介质中解决未知函数u(x,y)降低到解决未知系数向量( u 1 , u 2 , ⋯ , u n )。我们必须选择它们，使得近似u 1 e l e m e n t 1 ( x , y ) + u 2 e l e m e n t 2 ( x , y ) + ⋯ u n e l e m e n t n ( x , y )满足 PDE，在某种意义上。我们有n个未知数，所以我们必须写n个方程并解决一个n个未知数的系统。我们从 PDE 或其弱形式中得到这些。为了得到 PDE 的弱形式，我们将其乘以一个函数v(x,y)，在整个域上积分，然后使用分部积分来摆脱高阶导数。记住我们有的导数越少，我们就越接近未知函数。让我们一步一步来做：

原始 PDE 是：

- Δ u ( x , y ) = f ( x , y ) for ( x , y ) ∈ Ω ⊂ ℝ 2 u ( x , y ) = 0 for ( x , y ) ∈ b o u n d a r y Ω

将 PDE 乘以一个函数v(x,y)并在整个域上积分。这是 PDE 的弱形式，因为它以积分形式满足，而不是逐点形式：

- ∫ Ω Δ u ( x , y ) v ( x , y ) d x d y = ∫ Ω f ( x , y ) v ( x , y ) d x d y

注意算子Δ = ∇ . ∇，两个导数算子的点积。通过分部积分，我们可以通过将一个导数移到积分内的另一个函数来摆脱其中一个导数。这并非免费：在这个过程中，它会带上一个负号和另一个作用于域边界的积分项。域边界上的新积分积分了两个反导数的乘积。边界项需要外法向量到边界n →：

∫ Ω ∇ u ( x , y ) . ∇ v ( x , y ) d x d y - ∫ boundary Ω v ( x , y ) ∇ u ( x , y ) . n → d s = ∫ Ω f ( x , y ) v ( x , y ) d x d y

我们可以选择v(x,y)=0在边界上，这样整个边界项就消失了：

∫ Ω ∇ u ( x , y ) . ∇ v ( x , y ) d x d y = ∫ Ω f ( x , y ) v ( x , y ) d x d y

现在我们用有限维近似替换u(x,y)：

∫ Ω ∇ ( u 1 b a s i s 1 ( x , y ) + u 2 b a s i s 2 ( x , y ) + ⋯ u n b a s i s n ( x , y ) ) . ∇ v ( x , y ) d x d y = ∫ Ω f ( x , y ) v ( x , y ) d x d y ,

等价于：

∫ Ω ( u 1 ∇ b a s i s 1 ( x , y ) + u 2 ∇ b a s i s 2 ( x , y ) + ⋯ u n ∇ b a s i s n ( x , y ) ) . ∇ v ( x , y ) d x d y = ∫ Ω f ( x , y ) v ( x , y ) d x d y

就是这样：我们可以选择n个不同的函数作为v(x,y)，得到n个未知数的n个不同方程（u i 是未知数）。一个共同的主题是，每次我们都可以选择，我们选择那些不会使我们的计算变得复杂的东西。v(x,y)的最简单选择是我们已经有的n个基函数，因为这些在相互积分时产生许多抵消（正交性），并且在与自身积分时产生数字 1（正规性）。我们最初选择的基函数形成了一组正交归一的函数。一切都是为了让我们的生活更轻松。因此，这n个方程是：

∫ Ω ( u 1 ∇ b a s i s 1 ( x , y ) + u 2 ∇ b a s i s 2 ( x , y ) + ⋯ u n ∇ b a s i s n ( x , y ) ) . ∇ b a s i s 1 ( x , y ) d x d y = ∫ Ω f ( x , y ) b a s i s 1 ( x , y ) d x d y ∫ Ω ( u 1 ∇ b a s i s 1 ( x , y ) + u 2 ∇ b a s i s 2 ( x , y ) + ⋯ u n ∇ b a s i s n ( x , y ) ) . ∇ b a s i s 2 ( x , y ) d x d y = ∫ Ω f ( x , y ) b a s i s 2 ( x , y ) d x d y ⋯ ∫ Ω ( u 1 ∇ b a s i s 1 ( x , y ) + u 2 ∇ b a s i s 2 ( x , y ) + ⋯ u n ∇ b a s i s n ( x , y ) ) . ∇ b a s i s n ( x , y ) d x d y = ∫ Ω f ( x , y ) b a s i s n ( x , y ) d x d y

最后，我们解决了* n 方程 n *未知数的系统，我们将其设置为线性代数形式：

∫ Ω ∇ b a s i s 1 ( x , y ) . ∇ b a s i s 1 ( x , y ) d x d y ∫ Ω ∇ b a s i s 2 ( x , y ) . ∇ b a s i s 1 ( x , y ) d x d y ⋯ ∫ Ω ∇ b a s i s n ( x , y ) . ∇ b a s i s 1 ( x , y ) d x d y ∫ Ω ∇ b a s i s 1 ( x , y ) . ∇ b a s i s 2 ( x , y ) d x d y ∫ Ω ∇ b a s i s 2 ( x , y ) . ∇ b a s i s 2 ( x , y ) d x d y ⋯ ∫ Ω ∇ b a s i s n ( x , y ) . ∇ b a s i s 2 ( x , y ) d x d y ⋮ ⋮ ⋯ ⋮ ∫ Ω ∇ b a s i s 1 ( x , y ) . ∇ b a s i s n ( x , y ) d x d y ∫ Ω ∇ b a s i s 2 ( x , y ) . ∇ b a s i s n ( x , y ) d x d y ⋯ ∫ Ω ∇ b a s i s n ( x , y ) . ∇ b a s i s n ( x , y ) d x d y u 1 u 2 ⋮ u n = ∫ Ω f ( x , y ) b a s i s 1 ( x , y ) d x d y ∫ Ω f ( x , y ) b a s i s 2 ( x , y ) d x d y ⋮ ∫ Ω f ( x , y ) b a s i s n ( x , y ) d x d y

请记住，我们知道函数f(x,y)、所有基函数和域Ω，所以我们要做的就是解方程组。这个系统是稀疏的，因为大多数这些积分为零。出于这个原因，我们选择了支持较小的基函数。我们永远不想解一个密集的方程组。

当然，我们对有限元有许多问题和丰富的文献来处理这些问题：

• 所有 PDE 都有一个允许我们做这样事情的弱形式吗？（是的，因为我们总是可以将 PDE 与v函数相乘并进行部分积分，但有些 PDE 比其他 PDE 具有更好的结构来进行简化计算）。

• PDE 的能量形式或变分原理与之相关吗？（是的，它们相关。查找里兹方法。我们在运筹学和变分微积分章节中暗示了这一点，当我们将最小化能量泛函与解 PDE 联系起来时。在这里要记住的一件事是，大多数 PDE 具有弱形式，但并非所有 PDE 都有能量最小化形式。我获得博士学位的一个原因是我发现了我正在研究的 PDE 的能量形式。这完全是偶然。我所做的只是一个幸运的弱形式，然后是部分积分。就像我们在本节中所做的那样。在这个生活中，试错是被低估的）。

• Sobolov 空间是怎么回事，为什么我们在 PDE 的高级课程中学习它们？（因为我们需要将我们的函数u、v和基函数设置在适当的函数空间中，告诉我们我们正在使用的所有计算和近似是有效的。例如，我们不希望包含我们的函数及其导数的涉及积分爆炸）。

• 我们可以使用非均匀网格来调整域的更详细部分，比如图 13-11 中的部分吗？（是的，我们讨论中的内容并不严格依赖于均匀网格）。

图 13-11。一个具有非均匀三角形网格的二维域(图片来源)。

• 我们需要多少基函数？（和我们的网格元素一样多）。

• 在什么条件下，近似解会收敛到真实解？（欢迎来到有限元分析）。

• 这在应用中如何使用？（一直在使用。它始于力学和结构设计：载荷、应力和应变；但现在有限元方法被用来数值解决各种具有复杂几何空间域的 PDE）。

• 可能出什么问题？（一如既往，维度的诅咒。我们需要更多的网格元素以获得更高的分辨率，因此我们最终需要解决的方程组随着网格元素数量的增加呈指数增长。不好。理想情况下，我们希望网格在不需要详细的地方不详细，并在域的更有趣的部分更详细）。

• 还有什么可能使事情复杂化？（对于域随时间演变的 PDE，我们需要相应随时间演变的网格）。

• AI 能帮助学习给定几何和 PDE 的适当网格吗？（是的，我们将在本章中很快看到这一点）。

在继续之前，我们注意到有限元方法是一个有限维度的网格依赖方法，用于近似 PDE 的解。在本章的后面，我们将学习无网格神经网络方法。

变分或能量方法

一些偏微分方程在某种意义上非常特殊，因为它们的解最小化了一个能量泛函。我们说这样的偏微分方程具有变分原理。泊松方程，我们刚刚使用有限元方法解决的方程之一，就是这些幸运的偏微分方程之一。当一个偏微分方程具有变分原理时，它为我们打开了另一条理解其解的途径，通过研究它恰好最小化的能量泛函。

让我们写出泊松方程及其解最小化的能量泛函，而不深入讨论为什么会这样：

Δ u ( x , y ) = f ( x , y ) for ( x , y ) ∈ Ω ⊂ ℝ 2 u ( x , y ) = 0 for ( x , y ) ∈ b o u n d a r y ΩE ( u ( x , y ) ) = ∫ Ω |∇u(x,y)| 2 + 2 f ( x , y ) d x d y .

现在我们可以利用这一新知识来数值近似求解 PDE：寻找能量泛函的近似最小化方案。类似于有限元方法，我们将我们的无限维解(x, y)投影到有限维空间，我们可以选择基元素：

u ( x , y ) ≈ u 1 b a s i s 1 ( x , y ) + u 2 b a s i s 2 ( x , y ) + ⋯ u n b a s i s n ( x , y )

我们必须再次解出数字<u_1, u_2, ..., u_n>。为了做到这一点，我们将近似的 u(x, y)代入能量泛函的公式中。由于我们知道所有的基元素，这现在是<u_1, u_2, ..., u_n>的函数，我们可以使用标准微积分方法来最小化。完成！

这种方法相当通用，并将我们顺利引入变分微积分，这是关于寻找泛函的最优解而不是函数的，就像在正常微积分中一样。

蒙特卡洛方法

我们现在习惯于将大脑转换为概率思维，以解决确定性问题。我们用随机梯度下降来最小化损失函数，相乘大矩阵，对大矩阵进行随机奇异值分解，图上的随机游走来识别社区，排名网页等等。蒙特卡洛方法最著名的入门示例有：

1. 通过在单位正方形内生成许多随机点<x_random, y_random>，并找到落在半径为 1 的内切四分之一圆内的比例：<x_random² + y_random² ≤ 1>。现在我们可以估计落入四分之一圆内的概率：

   P r o b ( point inside the quarter circle ) = areaofquartercircleofradius1 areaofunitsquare = π 4 ≈ numberoftimespointisinsidethequartercircle totalnumberofpointsgenerated .

2. 通过生成随机点( x random , y random )，其中a ≤ x random ≤ b和0 ≤ y random ≤ max ( f )，来估计非负连续函数f(x)在区间[a,b]上的积分∫ a b f ( x ) d x。积分的值是f图形下的面积。我们可以通过找到随机点位于*f(x)*图形下的比例来估计它，或者y random ≤ f ( x random )：

   P r o b ( point under the graph of f ) = areaunderthegraphoff totalareaoftherectangle = ∫ a b f(x)dx (b-a)×max(f) ≈ numberoftimespointisunderthegraphoff totalnumberofpointsgenerated

解决确定性问题的这种随机方法被称为蒙特卡罗方法，因为它们涉及重复的机会游戏，并计算特定结果的比例，就像在摩纳哥的蒙特卡洛赌场赌博一样。它们也可以被称为拉斯维加斯大道方法。这类似于随机对照试验来回答确定性问题，例如评估某种药物对给定人群的影响。回答相同问题的另一种方法是完全确定性的观察性研究，其中控制所有疑似混杂变量，并评估药物干预的效果。

现在假设我们有一个确定性的 PDE，并且我们想使用随机数值试验（蒙特卡洛）来找到它的解决方案。为了说明这是如何工作的，让我们使用一个简单的 PDE：

Δ u ( x , y ) = 0 for ( x , y ) in the unit square ⊂ ℝ 2 , u ( x , y ) = g ( x , y ) for ( x , y ) ∈ b o u n d a r y square .

让我们首先使用均匀网格离散化域，然后为内部网格点和边界条件编写 PDE 的有限差分方案：

u i+1,j -2u i,j +u i-1,j h 2 + u i,j+1 -2u i,j +u i,j-1 h 2 = 0 when (i,j) corresponds to an interior grid point , u i ' ,j ' = g i ' ,j ' when (i',j') corresponds to a boundary point .

目标是使用上述数值方案找到网格的每个内部点的u i,j。这将是该特定内部点真实解*u(x,y)*的数值估计。让我们解出u i,j：

u i,j = 1 4 u i+1,j + 1 4 u i-1,j + 1 4 u i,j+1 + 1 4 u i,j-1 when (i,j) corresponds to an interior grid point , u i ' ,j ' = g i ' ,j ' when (i',j') corresponds to a boundary point .

这就是我们如何解释上述方程对于随机行走设置的：如果我们在边界上，那么我们知道解，它是 u i ' ,j ' = g i ' ,j ' 。因此，遵循 PDE 方案指导进行行走的随机行走者将在边界点收集他的奖励 g i ' ,j ' 。此外，在内部网格点（i，j）处的解 u i,j 是四个周围网格点的解的无权平均值。因此，如果一个随机行走者从内部网格点（i，j）开始，我们将给他 0.25 的概率漫步到他的四个相邻点中的任意一个，然后到它们的相邻点，直到他碰到一个边界网格点（i'，j'），在那里他收集他的奖励 g i ' ,j ' 。这只是 PDE 方案的一个探索，以某种方式为我们提供了有关哪个边界点对解 u i,j 有贡献的微小信息。如果我们重复这个过程很多次，比如一千次，都从相同的网格点（i，j）开始，我们想要找到数值解的地方，那么我们可以计算随机行走者最终到达每个边界点的比例：

p r o b ( ending up at point ( i ' , j ' ) ) ≈ numberoftimesrandomwalkerendedupatpoint(i ' ,j ' ) totalnumberofrandomwalksstartingat(i,j)

这将为我们提供他从所有边界点预期奖励的估计，这正是我们正在寻找的数值解：每个边界值在内部点的解中扮演什么角色。因此，PDE 的数值解是：

u i,j = ∑ (i ' ,j ' ) p r o b ( ending up at point ( i ' , j ' ) ) g i ' ,j '

这是一种非常巧妙的获得数值解的方法，不涉及解线性方程组（可能非常庞大和不可取）。当我们关心仅在少数点找到解而不是在整个网格找到解时，这也非常出色。

当然，对于每个 PDE，我们必须设计正确的数值方案，以及随机行走者的转移概率。例如，如果 PDE 中有与二阶导数相乘的系数，那么随机行走者不会以 0.25 的等概率漫步到他的四个相邻点中的每一个。系数会为每个相邻点引入权重，因此我们调整每个转移概率。

在理论上，我们必须证明行走者最终会碰到边界，并且以这种方式获得的数值解会收敛到 PDE 的真实解析解。我们还必须获得关于随机行走停止时间（平均值）、数值解收敛速度有多快，以及以这种方式获得的数值解在准确性、计算成本和收敛速度方面与从有限差分或有限元获得的解相比如何的分析估计。

使用蒙特卡洛方法，有时我们从另一个角度开始。我们设计一个涉及不同过程和转移速率的模拟，模拟某些物理现象（例如系统中相互作用的粒子），然后我们对其进行平均，并转变为编写涉及手头系统描述符的偏微分方程。这与从偏微分方程开始然后设计一个颗粒尺度的蒙特卡洛模拟来解决它的过程完全相反。我们接下来讨论这一点。

一些统计力学：奇妙的主方程

我最喜欢的偏微分方程之一是来自统计力学的主方程，因为它是少数能够让我们从以概率描述系统的原子或分子尺度（粒子系统）转变到以确定性描述系统的宏观尺度的偏微分方程之一。可以合理地期望，底层的原子过程和转变导致了在宏观尺度上观察到的行为。向我介绍统计力学的非常聪明的人告诉我：我们整个生活经验不就是一些庞大的基础化学反应的集体行为的结果吗？

从原子概率的主方程转变为观察量的确定性偏微分方程是干净的，不会让我们感到欺骗或做出模糊的假设，或者让我们有两个完全不相关的模型，一个在宏观尺度，另一个在原子尺度，彼此毫无关联。

主方程跟踪统计系统（一些粒子）在某个特定时间处于某种状态的概率的演变。我们通过减去损失并考虑不同状态之间的转移速率来计算系统状态的概率的变化率：

∂P(h,t) ∂t = ∑ h ' P ( h ' , t ) T ( h ' → h ) - P ( h , t ) T ( h → h ' ) , : = L P ,

其中T ( h → h ' )和T ( h ' → h )是从状态h到*h’*和反之的转移速率。我们使用底层的物理假设或对系统的观察来计算这些转移速率，例如原子的蒸发和凝结速率，扩散速率，等等。

现在我们可以利用主方程为系统的确定性描述符编写偏微分方程，通过计算它们的期望值。期望值将我们从概率量转换为确定性量。这是我们计算的方法：

〈 f 〉 = ∑ h f P ( h , t ) = ∑ h f e -H(h)/KT Z ,

其中 H(h)是总能量，Z 是配分函数。表达式e -H(h)/KT Z在统计力学中非常常见，它表达了高能量状态指数上更不可能发生的直观观念，意味着系统更倾向于低能量，并且更倾向于向降低总能量的状态演化。

期望值与对 Monte Carlo 模拟的 N 次重复平均值比较

这个期望值〈 f 〉与蒙特卡洛模拟相关：它等同于蒙特卡洛模拟重复N次后f的均值的极限N → ∞。

现在我们可以计算感兴趣量的期望变化率，比如表示晶体剖面（由原子组成）在某个位置i处的高度的h i，使用主方程：

d〈h i 〉 dt = ∑ h h i ∂P ∂t = ∑ h h i L P .

如果系统是封闭的，也就是说，如果我们能够用h及其对空间和时间的导数来表达右侧，那么我们就可以得到期望高度剖面的运动方程。如果系统不是封闭的，那么我们必须做一个近似以关闭系统。最好做一个物理上合理的近似，比如系统接近平衡，否则我们的努力将是无用的。

最后一步是对离散运动方程进行粗粒化，以获得描述晶体剖面的连续 PDE 模型。这一步将我们从有限差分方案转移到连续 PDE，这与我们通过有限差分学习的离散化过程相反。使用这个过程，得到的 PDE 直接从原子过程中出现。这样的 PDE 通常看起来像：

h t ( x → , t ) = F ( h ( x → , t ) , t ; ω → )

其中ω →是系统的物理参数集。

在本章的后续部分，我们将学习如何使用图神经网络直接从粒子系统模拟宏观尺度的自然现象。这将绕过我们在本节中所做的写 PDE 的过程。网络的输入将是粒子及其相互作用和相互作用速率，输出将是整个系统的时间演变（视频或图的时间序列）。

解决方案作为基础随机过程的期望

对于某些类型的 PDE，找到解决方案的一个巧妙方法是将它们制定为某些基础随机过程的期望：我们模拟适当随机过程的随机路径，然后计算期望。这使我们能够在任何给定的空间-时间位置评估解决方案。

要学习如何做到这一点，我们需要研究费曼-卡克公式和伊藤微积分（帮助我们找到依赖于时间的随机变量函数的导数）。这些将 PDE 和概率很好地联系在一起。

费曼-卡克公式（我们不会写）提供了一种实用的方法来解决一些被维度诅咒困扰的 PDE。例如，在量化金融中，我们可以使用费曼-卡克公式高效计算解决方案，以定价股票期权的布莱克-斯科尔斯方程。在量子化学中，我们可以用它来解决薛定谔方程。

转换 PDE

这里的想法很简单：也许在一个转换后的空间中解决 PDE 问题会比在当前空间中更容易（无论是分析还是数值解）。因此，我们以某种方式对其进行转换，并期望最好的结果。

傅里叶变换

傅里叶变换是从x空间到频率ξ空间的积分变换：

F . T ( f ( x ) ) = f ^ ( ξ ) = 1 2π ∫ -∞ ∞ e -iξx f ( x ) d x

逆傅里叶变换撤销了傅里叶变换，并将我们从频率ξ空间带回到x空间：

F . T -1 ( f ^ ( ξ ) ) = f ( x ) = 1 2π ∫ -∞ ∞ e iξx f ^ ( ξ ) d x

有许多函数的傅里叶变换表格供我们方便使用。当这些不可用时，我们就求助于数值方法。由于傅里叶变换及其逆变换对于许多应用非常重要，比如频率分析、信号调制和滤波，因此已经专门开发了用于快速计算的算法。

以下是关于傅里叶变换的一些重要事项：

1. 它将一个函数分解为其频率分量：函数的傅里叶变换告诉我们函数具有每个频率的多少。函数*f(x)*的频率谱是其傅里叶变换的绝对值：| F ( ξ ) |。

2. 它有一个逆变换，允许我们在x空间和频率空间ξ之间来回移动。

3. 它将x空间中两个函数的卷积转换为频率ξ空间中函数的乘积：F . T . ( f g ( x ) ) = F . T . ( f ( x ) ) × F . T . ( g ( x ) ) = f ^ ( ξ ) g ^ ( ξ )。当尝试为 PDE 找到解析解时，这是有帮助的：在x空间中解 PDE 归结为在ξ空间中解代数方程或更简单的微分方程，然后使用傅里叶逆变换回到x空间。许多情况下，我们要反转两个傅里叶变换的乘积，因此解最终变成x空间中的卷积。如果您之前遇到过用于解析解的Green 函数*，这是到达它们的一种方法。

4. 它将x上的微分变为i ξ的乘法，因此F . T . ( u x ( x ) ) = i ξ F . T . ( u ( x ) ) = i ξ u ^ ( ξ )，以及F . T . ( u xx ( x ) ) = - ξ 2 F . T . ( u ( x ) ) = - ξ 2 u ^ ( ξ )。摆脱导数是巨大的。这意味着原始空间中的微分方程变成了傅里叶空间中的代数方程。

5. 这是一个线性变换，因此我们可以将其分别应用于 PDE 中的每一项。这使我们能够无缝解决具有恒定系数的线性 PDE。对于具有非恒定系数的线性 PDE（其中参数取决于空间），如果我们愿意用这些系数的级数展开来解决问题，我们仍然可以使用傅里叶变换。一旦我们写出级数，就必须调查它们的收敛性。

6. 我们用它来证明神经网络的通用逼近定理*(Hornik 等人，1989)*。

7. 我们可以用它来加速卷积神经网络*(Mathieu 等人，2013)*。

8. 将 PDE 表示为傅里叶空间中是方便的，如果我们想要训练神经网络来学习 PDE 解决方案。

也有一些不太方便的事情：

• 许多函数具有复值傅里叶变换。我们只是学习复分析并接受这一点。

• 并非所有函数都有傅里叶变换。涉及的积分在无限域上操作，因此如果积分中没有函数补偿以快速衰减为零，积分会发散（使傅里叶变换无用）。傅里叶变换的核是e -iξx = cos ( ξ x ) - i sin ( ξ x )。这以频率ξ振荡，永远不会衰减为零。

• 即使对于其逆傅里叶变换存在（帮助我们找到 PDE 的解析解）的函数，有时我们也不知道它们的公式。在这些情况下，我们将无法使用这种方法编写明确的解析解。这是许多解析方法的常见问题。

它们有海森堡不确定性原理 不确定性原理的研究始于沃纳·海森堡的论点，即不可能同时确定自由粒子的位置和动量到任意精度。在量子力学中，位置的波函数是动量的波函数的傅里叶变换。：傅里叶不确定性原理最常见的用途是描述系统稳定性和可测性之间的自然权衡，特别是量子力学系统。假设 f(x)是粒子位置为 x 的概率，f(ξ)是其动量为ξ的概率，海森堡的不等式给出了这两个概率分布必须有多分散的下限。物理假设是位置和动量由傅里叶变换相关联。|f|2L2 ≤ 4π · |(x - xo)f|L2 · |(ξ - ξo)f|L2. 从定性上讲，这意味着一个狭窄的函数具有宽广的傅里叶变换，而一个宽广的函数具有狭窄的傅里叶变换。在任一域中，一个更宽广的函数意味着数据分布广泛，因此总是存在一定的不确定性。

傅里叶变换与傅里叶级数

我们不应将傅里叶变换与傅里叶正弦和余弦级数混淆。函数sin x没有傅里叶变换，但其傅里叶正弦级数本身就是。

拉普拉斯变换

拉普拉斯变换使我们能够转换比傅里叶变换更广泛的函数类，因为它的核e -st以指数速度衰减为零（指数中没有复值i来搞乱事情）。拉普拉斯变换作用于定义在[ 0 , ∞ )上的函数，因此在偏微分方程中，我们使用它来转换时间变量，或者如果其他变量的范围是[ 0 , ∞ )。因此，我们不直接在时间域中解决 PDE，而是对其进行拉普拉斯变换，用s域中解决它，然后再将其逆拉普拉斯变换回时间域。

拉普拉斯变换的公式是：

L . T . ( f ( t ) ) = f ^ ( s ) = ∫ 0 ∞ e -st f ( t ) d t

逆拉普拉斯变换的公式是：

L . T . -1 ( f ^ ( s ) ) = f ( t ) = 1 2πi ∫ c-i∞ c+i∞ e st f ^ ( s ) d s

就像傅里叶变换一样，有许多函数的拉普拉斯变换表格供我们方便计算。

我们关心拉普拉斯变换对 PDE 中涉及的（时间）导数的作用。它最好消除它们，否则 PDE 如何让我们更接近其解？它确实做到了：

• L . T ( u t ( x , t ) ) = s u ^ ( x , s ) - u ( x , 0 )。

• L . T ( u tt ( x , t ) ) = s 2 u ^ ( x , s ) - s u ( x , 0 ) - u t ( x , 0 ) .

请注意，我们通常知道 PDE 的初始条件u ( x , 0 )和u t ( x , 0 )，因此上述变换确实消除了对时间的导数。

我们还关心卷积到乘法的性质，这样我们可以通过逆拉普拉斯变换将s中的代数表达式转换回t空间中的 PDE 解。请注意，这是一个有限卷积，从0到t，而不是从- ∞到∞，就像在傅立叶变换的情况下一样：

• L . T . ( ( f g ) ( t ) ) = f ^ ( s ) g ^ ( s ) 其中 ( f g ) ( t ) = ∫ 0 t f ( τ ) g ( t - τ ) d τ = ∫ 0 t f ( t - τ ) g ( τ ) d τ .