李沐动手学深度学习笔记

深度学习中的优化挑战 局部极小值 当优化问题的数值解接近局部最优解时，随着目标函数解的梯度接近或变为零，通过最终迭代获得的数值解可能仅使目标函数局部最优而非全局最优。只有一定程度的噪声才可能会使参数跳