Datawhale X 李宏毅苹果书 AI夏令营深度学习入门第一节笔记

79 阅读2分钟

一、概念的理解

机器学习(Machine Learning,ML):让机器具备找一个函数的能力,可以用来做语音识别,可以回答人们的具体问题,也可以和我们下围棋。

回归(regression): 机器学习一种任务,就是通过所给的数据,比如时间,某些量的测量值等,去预测得到一个标量(scala)。

二、案例分析:

找函数的过程分为三个步骤:

1、写出一个带有未知参数的函数 f(),称之为模型,如何选择适当的模型往往要通过生活经验和对数据的观察。

2、求损失,损失(loss)就是每个预测值与实际值的差距e的均值。

其中平均绝对误差(Mean Absolute Error,MAE):

e=yˆye = |yˆ − y|

均方误差(Mean SquaredError,MSE):

e=(ˆyyy)2e = (ˆy y − y)2

如果y 和 yˆ 都是概率分布,可以选择交叉熵(cross entropy)。

用于评估模拟精度,计量反应损失,画出的损失等高线图称为误差表面。

3、解一个最优化问题,也就是想办法找到一组参数使得损失最小,模拟效果最好。 我用自己的话把步骤说一下:

1、找一个随机的参数,然后计算损失对一个参数的偏导。

2、如果偏导绝对值大,参数间的变化就可以大一点,反之就小一点。此外引入学习率n,也就是更新的速度快慢。

3、更新停止,两种情况,一个是找到了最值,也就是局部的最小值,当然不一定是真正的最优解,另一种情况就是达到了我们设定的更新数量的上限,这种情况的话要继续更新了。

因为不一定是真正的最优解,所以说梯度下降也是有一定的局限性,但我认为在某些场景下十分需要快速找到一个还可以的模型,梯度下降也是很有实用价值的。

这样我们就找到了一个模型,第一节的内容over!