激活函数
- 为什么要用激活函数：不用的话，输出永远是输入的线性函数（传统的MLP），激活函数给神经网络引入了非线性元素，使神经网络能够逼近任意非线性函数，这样神经网络就可以应用到众多非线性模型中。
- sigmoid(0,1)优点:连续函数，便于求导；输出范围稳定
- 缺点：反向传播时，梯度接近0时容易出现梯度消失，无法做深层网络的训练；变量很大时会有饱和现象，函数对输入的微小改变会变得不敏感；由于是指数形式，计算复杂度高
- Tanh优点：均值是0，收敛速度更快
- Tanh[-1,1]缺点：梯度饱和和计算复杂度高
- ReLU（x负y0,x正y=x）优点：在x>0时不会出现梯度饱和、梯度消失的问题；使用ReLU的梯度下降收敛速度更快；计算复杂度低
- 缺点：输出不是0均值；在负数区域存在dead relu，x<0时梯度为0
