学习记录 Gradient Descent

648 阅读1分钟

最近在巩固机器学习,上了台湾大学李宏毅教授的课,感觉非常不错。

其实道理很简单,就是要找到一个全局最优解,通过一步步的不更更新w来实现,这个过程就像是下山,你确定了要下山,那就要选择一个坡度向下的路线往下走,梯度下降也是这个原理。(图为只有一个参数w时)

(当L(w, b)时)

此时更新的参数变成了两个,一个是w,一个是b。但是“下山”过程是一样的。

我最开始的时候对个地方感到疑惑,就是怎么避免局部最优解。

但是后续中发现它在linear regression中是一个凸函数,是没有局部最优解的。图像就像是等高线图,每更新一步调整一次“角度”,也就是斜率,直到抵达“山底”。

博客的内容记录一步步学习的过程,希望自己抓紧时间,面对压力和挑战。

再次推荐台湾大学李宏毅教授的人工智能课程。