一、概念的理解
机器学习(Machine Learning,ML):让机器具备找一个函数的能力,可以用来做语音识别,可以回答人们的具体问题,也可以和我们下围棋。
回归(regression): 机器学习一种任务,就是通过所给的数据,比如时间,某些量的测量值等,去预测得到一个标量(scala)。
二、案例分析:
找函数的过程分为三个步骤:
1、写出一个带有未知参数的函数 f(),称之为模型,如何选择适当的模型往往要通过生活经验和对数据的观察。
2、求损失,损失(loss)就是每个预测值与实际值的差距e的均值。
其中平均绝对误差(Mean Absolute Error,MAE):
均方误差(Mean SquaredError,MSE):
如果y 和 yˆ 都是概率分布,可以选择交叉熵(cross entropy)。
用于评估模拟精度,计量反应损失,画出的损失等高线图称为误差表面。
3、解一个最优化问题,也就是想办法找到一组参数使得损失最小,模拟效果最好。 我用自己的话把步骤说一下:
1、找一个随机的参数,然后计算损失对一个参数的偏导。
2、如果偏导绝对值大,参数间的变化就可以大一点,反之就小一点。此外引入学习率n,也就是更新的速度快慢。
3、更新停止,两种情况,一个是找到了最值,也就是局部的最小值,当然不一定是真正的最优解,另一种情况就是达到了我们设定的更新数量的上限,这种情况的话要继续更新了。
因为不一定是真正的最优解,所以说梯度下降也是有一定的局限性,但我认为在某些场景下十分需要快速找到一个还可以的模型,梯度下降也是很有实用价值的。
这样我们就找到了一个模型,第一节的内容over!