反向传播、softmax损失函数与交叉熵损失函数的简单理解

45 阅读1分钟

image.png

image.png

image.png 理解关键点是:

  1. Loss 关于 f 求导得到 -1
  2. f 关于各参数求导得到 z, z, x+y。
  3. 再把两部分相乘,链式法则得到了 Loss 对各参数的偏导。

这就是 反向传播(backpropagation)最基本的流程:先求上层对中间变量的梯度,再乘以中间变量对参数的梯度。 image.png

image.png

image.png

image.png