前面说过,神经网络完全由一系列张量算组成,而这些张量运算只是输大数据的简单几何变换。因此,你可以将神经网络解释为高维空间中非常复杂的几何变换,这种变换通过一系列简单步骤来实现。 对于三维的情况,下面这个思维模型是很有用的。想象有两张彩纸:一张红色,一张蓝色。将一张纸放在另一张上,然后把它们一起揉成一个小球。这个皱巴巴的纸团就是你的输入数据,每张纸对应分类问题中的一个数据类别。神经网络要做的就是,找到可以让纸团恢复平整的变换,从而再次让两个类别明确可分(见图2-14)。利用深度学习,这一过程可以通过三维空间中一系列简单变换来实现,比如用手指对纸团所做的变换,每次一个动作。
让纸团恢复平整就是机器学习的且的:为高维空间中复杂、高度折叠的数据流形(manifold)找到简洁的表示。流形是指不连续的表面,比如揉皱的纸。现在你应该能够很好地理解,为什么深度学习特别擅长这一点:它可以将复杂的几何变换逐步分解为一系列基变换,这与我们展开纸团所采取的策略大致相同。深度神经网络的每一层都通过变换使数据解一点点,而许多层堆叠在一起,可以实现极其复杂的解开过程。