wudc

在神经网络中由于参数动辄上亿，如果没有一个策略全凭直觉去调就算到宇宙爆炸也很难优化好。目前常用的策略是反向传播，而梯度下降法就是反向传播中的一种方法，其基本思想是通过迭代的方式，沿着损失函数的梯度的反