深度学习笔记——前向传播与反向传播、神经网络(前馈神经网络与反馈神经网络)、常见算法概要汇总

158 阅读1分钟

大家好,这里是好评笔记,本文为试读,查看全文请移步公主号:Goodnote。本文简要介绍深度学习的前向传播与反向传播,以及前馈神经网络与反馈神经网络。

4.png


@[toc]

前向传播与反向传播

前向传播(Forward Propagation)

前向传播是将输入数据从输入层依次通过神经网络的各个隐藏层,最后输出预测结果的过程。该过程用于计算网络的预测结果,以及在训练过程中计算损失函数值。它的基本步骤如下: 在这里插入图片描述 在这里插入图片描述 6. 计算损失 在这里插入图片描述

前向传播的作用:

  • 计算输出:将输入数据通过网络生成预测结果。
  • 计算损失:在训练过程中,通过输出结果与真实标签计算损失函数值(如均方误差、交叉熵等),衡量模型的预测误差。

反向传播(Back Propagation)

反向传播是通过计算损失函数相对于每层参数(权重和偏置)的梯度,从输出层向输入层更新参数,从而最小化损失函数的过程。使用梯度下降法(还有动量梯度下降法、Adagrad、RMSprop、Adam)更新参数具体步骤如下: 在这里插入图片描述


详细全文请移步公主号:Goodnote。

参考:欢迎来到好评笔记(Goodnote)!