激活函数:
目的:引入非线性(线性和非线性一起会生成一个非线性的)
Sigmoid/logistics函数:数据太大或者太小时,不会呈现变化(看下图像就知道)
tanh(双曲正切曲线):比Sigmoid好的是中间点在0点
RELU:好用,酷酷用 LeakReLu
SoftMax 其他激活函数
如何选择激活函数: 优先选择RELU激活函数 如果ReLu效果不好,那么尝试其他激活,如Leaky ReLu等。 如果你使用了Relu, 需要注意一下Dead Relu问题, 避免出现大的梯度从而导致过多的神经 元死亡。 不要使用sigmoid激活函数,可以尝试使用tanh激活函数
输出层 二分类问题选择sigmoid激活函数 多分类问题选择softmax激活函数 回归问题选择identity激活函数