深度学习

2012年，Alex Krizhevsky（1作，当时是硕士）、Ilya Sutskever和Geoff Hinton提出了一种新的卷积神经网络结构AlexNet。

LeCun等1987年提出了卷积神经网络( Convolutional Neural Network，CNN)，主要应用于计算机视觉和图像处理等研究领域。

最简单的深度网络称为多层感知机（ multilayer perceptron ），通常缩写为MLP。通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。

Softmax回归适用于分类问题，它使用了Softmax运算中输出类别的概率分布。社会科学家邓肯·卢斯于1959年在选择模型（choice model）的理论基础上发明softmax函数

提出时间1795年，可以看做单层神经网络。对于线性回归，每个输入都与每个输出，这种变换被称为全连接层（fully-connected layer） 或稠密层（dense layer）

梯度爆炸（gradient exploding ） ： 参数更新过大，破坏了模型的稳定收敛； 梯度消失（gradient vanishing ） ： 参数更新过小，在每次更新时几乎不会移动

神经网络，Neural Networks，逐渐兴起于二十世纪八九十年代，应用得非常广泛。但由于各种原因，在90年代的后期应用减少。二十一世纪10年代神经网络又东山再起了。

一个学习算法 （ learning algorithm ） 其实是一个灵活的元程序，输出由许多参数（ parameter ） 决定，通过数据来选择参数。可把参数看作是旋钮，我们可以转动旋钮来调整程序。