引言
LeNet（1998）：浅层神经网络，当初用于手写字符识别；
AlexNet（2012）： 伴随李菲菲教授推出ImageNet Data大型数据集；
LSTMs：在语音识别领域，2010年后有很大的技术提升；在翻译领域，2016年后也有很大提升。
深度学习：神经网络中一种，有深层网络结构特征的神经网络；又称为表征学习，尤其在图像识别领域，层次化表征去抽取图片中的信息。
深度学习的发展归功于：1.大数据 2.有力的计算资源
深度学习
神经网络
神经元：神经网络的基本组成单位，实现信息传递的功能；包含权重、偏差和激活函数。
前向传播：从前往后对输入信息的传播。
反向传播：从后往前对误差影响值信息的传递，调整更新每个神经元的参数。
结构：输入层、输出层、隐藏层。
激活函数：Sigmoid到ReLU；Sigmoid存在0及1值，存在训练过慢及梯度消失的问题，ReLU计算简单且训练较快，能够避免梯度消失的问题。
Softmax：分类问题中，概率问题归一化。
监督学习：数据有其正确标签。
差距：cost、L(θ)，预测值与正确标签之间的差距。
梯度下降：通过一步一步调整到切线梯度减小的点，最终寻找到cost最优的点；但是对于现实复杂结构，易于陷入局部最优；缓解方法可以给每一步加一个动量，当陷于一个局部最优时，可通过动量带出，但仅仅是缓解这一问题，并没有彻底解决。
过拟合：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本中自身的一些特点当作了所有潜在样本都会具有的一般性质，这种导致泛化性能下降的现象称为过拟合。过拟合是无法彻底避免的，所能做到的只是“缓解”，或者说减小其风险。可通过三个方法缓解：1.dropout 2.权重衰减 3.减少训练时间。
卷积神经网络（CNN）
结构：1.卷积层 2.非线性层 3.池化层。
卷积层：通过卷积核滤波器遍历图片数组，提取图片内信息
池化层：保留突出图片特征信息，减小加深图片尺度
主要CNN经典网络有以下：
