机器学习之线性回归_回归模型残差不满足高斯分布的影响

19 阅读4分钟

上图为五个人在银行贷款的样本,其中工资和年龄我们都称为特征(2个特征)

目标:

预测银行会贷款给我多少钱(标签)

考虑:

工资和年龄都会影响最终银行贷款的结果,那么他们各自有多大的影响呢(参数)

通俗解释:

X1,X2就是我们的两个特征(年龄,工资) Y是银行最终借给我们多少钱
找到最合适的一条线来最好的拟合我们的数据点

数学来了

假设 Θ1是年龄的权重, Θ2是工资的权重,Θ0是偏置项

拟合的平面:

Θ0 +  Θ1x1 +  Θ2x2
整合:
这里写图片描述

误差

在这里插入图片描述

真实值和预测值之间肯定是要存在差异的(用 ε来表示该误差)

对于每个样本方程:

这里写图片描述

这里写图片描述
误差独立并且具有同分布,并且服从均值为0方差为这里写图片描述的高斯分布

独立:张三和李四一起来贷款,他俩都是独立的互不影响

同分布:张三和李四来的都是在同一家银行贷款 用的用一套贷款算法

高斯分布:银行可能会多给,也可能会少给,但是绝大多数情况下这个浮动不会太
大,极小情况下浮动会比较大,符合正常情况

误差服从高斯分布:
这里写图片描述
将预测值式子带入高斯分布式子:
这里写图片描述

似然函数(最大似然估计):
似然函数的理解:

什么样的数据跟参数组合后成为真实值的概率最大

方程:

这里写图片描述

对数似然:
为什么会用到对数似然

乘法难解,加法就容易了,对数里面乘法可以转换成加法

方程:

这里写图片描述

化简:
这里写图片描述

目标函数:

让似然函数(对数变换后也一样)越大越好 让预测值成为真实值得可能性越大越好(最小二乘法)

展开转置成自身
这里写图片描述

求偏导:
这里写图片描述
什么样的Θ能够使得整体的表达式的值越小越好(极小值点)
偏导等于0的位置满足这个条件

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

了解详情:docs.qq.com/doc/DSnl3ZG…