交叉熵损失随记

交叉熵的结果越大，损失就越大。
神经网络中称为：反向传播算法，利用梯度下降进行优化。

正向传播：经过神经网络中每一层的计算得出输出结果。
反向传播：从损失函数计算开始，梯度下降更新神经网络中每一层的权重。