梯度下降

什么是梯度下降算法

如何用梯度下降算法实现线性回归

损失函数

θ0，1分别代表了截距与斜率，求θ0，1使得损失最小

梯度

在此图中z轴可以作为损失函数的结果，z越大损失越大，z越小损失越小，可以想像一个球放在山坡上，应该往什么方向走到谷底，什么方向走的最快，谷底就是损失最小的点。其中梯度就是对损失函数的θ0，1求偏导。

梯度下降的算法过程

通过遍历θ0，1，在此过程中求导即计算梯度，最后将θ0，1减去梯度乘学习率的值进而更新网络中的θ0，1。