深度学习

softmax⽤于多分类过程中，它是⼆分类函数sigmoid在多分类上的推⼴，⽬的是将多分类的结果以概率的形式展现出来。计算⽅法如下图所示： $$ \operatorname{softmax}\lef

![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2377a620bd6049aaab5df7d9d76195d1~tplv

![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4290d04081bc441db5efee3ef1c190a4~tplv

![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/540d02a3ef6c401385e5f9c9a1cc65da~tplv

ReLU（Rectified Linear Unit）激活函数是一种非线性激活函数，计算公式为ReLU(x) = max(0, x)。在神经网络中，ReLU函数通常用于隐层神经元的输出。

sigmoid激活函数是一种常用的非线性激活函数，其公式为：sigmoid(x) = 1 / (1 + e^(-x))。 sigmoid函数的输出在0到1之间，因此它被广泛用于输出层，用来表示概率或