大家好,这里是好评笔记,本文为试读,查看全文请移步公主号:Goodnote。本文简要介绍深度学习的前向传播与反向传播,以及前馈神经网络与反馈神经网络。
@[toc]
前向传播与反向传播
前向传播(Forward Propagation)
前向传播是将输入数据从输入层依次通过神经网络的各个隐藏层,最后输出预测结果的过程。该过程用于计算网络的预测结果,以及在训练过程中计算损失函数值。它的基本步骤如下:
6. 计算损失
前向传播的作用:
- 计算输出:将输入数据通过网络生成预测结果。
- 计算损失:在训练过程中,通过输出结果与真实标签计算损失函数值(如均方误差、交叉熵等),衡量模型的预测误差。
反向传播(Back Propagation)
反向传播是通过计算损失函数相对于每层参数(权重和偏置)的梯度,从输出层向输入层更新参数,从而最小化损失函数的过程。使用梯度下降法(还有动量梯度下降法、Adagrad、RMSprop、Adam)更新参数具体步骤如下:
详细全文请移步公主号:Goodnote。