深度学习——权重初始化、评估指标、梯度消失和梯度爆炸

大家好，这里是好评笔记，本文为试读，查看全文请移步公主号：Goodnote。本文介绍深度学习常见的概念——权重初始化、评估指标、梯度消失和梯度爆炸。

@[toc]

权重初始化

权重初始化是影响模型训练速度和性能的重要因素。合理的权重初始化可以帮助加快收敛，减少不稳定性。以下是几种常见的权重初始化方法及其解释：

零初始化 (Zero Initialization)

• 描述：将所有权重初始化为零。
• 优点：简单易实现。
• 缺点：所有神经元的输出相同，导致每个神经元在反向传播时更新相同的权重，无法有效学习。此方法通常不适用于深度学习。

随机初始化 (Random Initialization)

• 描述：将权重随机初始化为小的随机值（通常在一个小范围内）。
• 优点：避免了神经元输出相同的问题，允许不同神经元学习不同的特征。
• 缺点：选择不当的范围可能导致梯度消失或梯度爆炸问题。

Xavier 初始化（Glorot 初始化）

• 描述：适用于Sigmoid或Tanh激活函数。权重根据输入和输出的数量进行初始化，通常使用正态分布或均匀分布。

  • 计算公式：

• 优点：通过考虑输入和输出的规模，减少了层与层之间的激活值的方差，有助于更稳定的训练。

He 初始化

• 描述：专门为ReLU激活函数设计的初始化方法，权重根据输入的数量进行初始化。
  • 计算公式：
• 优点：减少了在ReLU激活函数中由于零输入造成的 “死亡神经元”问题 ，适用于深度神经网络。

详细全文请移步公主号：Goodnote。

参考：欢迎来到好评笔记（Goodnote）！