所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，网络参数初始化决定模型是否收敛，而优化算法的性能则直接影响模型的训练效率。