AI深度学习
根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。让计算机从经验获取知识，可以避免由人类来给计算机形式化地指定它需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。
抽象和形式化的任务对人类而言是最困难的脑力任务之一，但对计算机而言却属于最容易的。人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。
硬编码的知识体系：将关于世界的知识用形式化的语言进行硬编码，没有取得重大的成功，表面AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力被称为机器学习。这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示。鉴于这些简单模型只能从专家提供的表征映射到结果，而不能自己提取出特征的局限性，人们发展出了表征学习，希望机器自己能够提取出有意义的特征而无需人为干预。经典的例子就是Autoencoder，主要就是由加码器encoder从原始数据提取特征，然后可以通过解decoder利用新的表征来重塑原始数据。
深度学习就是通过一层层的表征学习，每层可能逻辑很简单，但之后的层可以通过对前面简单的层的组合来构建更复杂的表征。经典的例子如多层感知机(multilayer perceptron),就是每个感知机数理逻辑都很简单，层内可以并行执行，层间顺序执行，通过层层叠加实现更复杂的逻辑。深度学习的“深”可以理解为通过更多层来结合出更复杂的逻辑，这就完成了从输入到内在层层表征再由内在表征到输出的映射。
深度学习发展阶段
1940-1960：人们更多的是从神经科学找灵感，希望能够搭建能够模拟人脑工作模式的神经网络，这个时期的名字是人工神经网络（Artificial Neural Network) 或神经机械学（cybernetics)。
1980-1990：这个时候更多的称为联结主义（connectionism)或并行分布式计算（parallel distributed computing)，主要是强调很多的简单的计算单位可以通过互联进行更复杂的计算。
2006-：由于软硬件性能的提高，深度学习逐渐应用在各个领域，深度学习研究重整旗鼓。统计学上，通过小量数据训练延展到新数据是很困难的。目前1.我们有更大量的数据进行训练 2.我们有更好的软硬件可以支持更复杂的模型（更快的CPU，GPU的发展，更高速的网络传输，更好的分布式计算的软件支持）。
深度学习的另一个最大的成就是其在 强化学习（reinforcement learning）领域 的扩展。在强化学习中，一个自主的智能体必须在没有人类操作者指导的情况下，通 过试错来学习执行任务。
