机器学习笔记-代价函数

297 阅读1分钟

01ppt:

图片.png 也叫损失函数。 判断最佳回归线而使用。

图片.png

坐标轴说明: 图片.png

线的长度,是误差。

图片.png

我们需要找到合适的参数,然后使得误差平方和最小。 从而找到更好的回归线。 所有点的误差加起来,

公式说明:

图片.png i代表样本点,m个样本,(误差)求平方

∑,累加符号。每个样本点误差的平方,累加起来

图片.png

∑除以m(m个样本点)

图片.png 要乘以2m分之一,是因为求解更好看。-与平方约掉。

ps:平方比较方便,因为有正负。


02ppt:

图片.png

图片.png


03ppt

图片.png

图片.png斜率=1

图片.png =求和(预测值-真实值)平方 /2m

计算:

图片.png

    1. 1.1-1=0 ,2-2=0 , 3-3= 0
    1. 2.(0+0+0)² /2m (m3个样本)
    1. 3.0/6 =0

当预测值为1时

1、 图片.png 2、

图片.png

3、图

图片.png

斜率为0时,代价函数: 预测值为0. 计算:

图片.png

2.333

图片.png


04ppt

最后可以得到:

图片.png

大概可以画出

图片.png

可以看到,代价函数取1时,能取到最小值。

回归头,我们可以知道。

图片.png

所以这才是最好的线。即斜率为1时


05ppt

图片.png θ0是截距。θ1是斜率。

每一个圈,代表一样的数值。

图片.png

这条绿色的线上,所有的值都是一样的(类似等高线。)

图片.png 这是能取到的最小值。

最小值的情况:

图片.png


06ppt

图片.png

相关系数公式:

累加(xi一个样本点,减去所有x样本点的平均值)(yi一个样本点,减去所有y样本点的平均值)除以。。。累加(xi 一个样本点,减去所有x样本点的平均值)(yi 一个样本点,减去所有y样本点的平均值)除以。。。

相对系数,衡量两个变量的线性关系


07ppt

图片.png

决定系数:

图片.png

图片.png 真实值-所有样本点的真实值的平均值

图片.png 预测值-真实值的平均值

越接近于1,越接近关系