深度学习——激活结构(复习-正课)

53 阅读1分钟

激活函数:

目的:引入非线性(线性和非线性一起会生成一个非线性的)

Sigmoid/logistics函数:数据太大或者太小时,不会呈现变化(看下图像就知道)

tanh(双曲正切曲线):比Sigmoid好的是中间点在0点

RELU:好用,酷酷用 LeakReLu

SoftMax 其他激活函数 image.png

如何选择激活函数: 优先选择RELU激活函数 如果ReLu效果不好,那么尝试其他激活,如Leaky ReLu等。 如果你使用了Relu, 需要注意一下Dead Relu问题, 避免出现大的梯度从而导致过多的神经 元死亡。 不要使用sigmoid激活函数,可以尝试使用tanh激活函数

输出层 二分类问题选择sigmoid激活函数 多分类问题选择softmax激活函数 回归问题选择identity激活函数