小知识，大挑战！本文正在参与“ 程序员必备小知识 ”创作活动
本文同时参与 「掘力星计划」 ，赢取创作大礼包，挑战创作激励金
很基础又很重要的一个问题
模型的方差和偏差。
- 统计学中的无偏估计和有偏估计： 均值估计和方差估计
这里举了一个均值估计的例子。通常情况下对x的均值估计是取n个点，做个平均。通过这种方式得到m1,m2,m3....当然这些m和真实的u有差距，但是如果对估计出来的所有的m取个期望，就可以看作是样本真实的u（因为数目很多），也就是m是均匀的散布在u的上下。 这种估计出来的结果和真实一样，所以叫做无偏估计。
这里举了一个均值估计的例子。通常情况下对x的均值估计是取n个点，做个平均。通过这种方式得到m1,m2,m3....当然这些m和真实的u有差距，但是如果对估计出来的所有的m取个期望，就可以看作是样本真实的u（因为数目很多），也就是m是均匀的散布在u的上下。 这种估计出来的结果和真实一样，所以叫做无偏估计。
在五篇估计中m的散布程度由方差决定，N越大，方差越小，散布的越靠近中心。
有偏估计。可以看到估计出来的方差比较多的在真实的方差的下面。当N无穷大的时候，也就差不多相等了。
在机器学习模型下：方差和偏差的图，太形象了。
我们想要的是一个 bias小的，variance也小的一系列模型。
简单的模型 方差比较小，因为不怎么受data的影响。
复杂的模型 方差比较大，因为非常受data的影响。
比如说极端情况下，让f(x)=c。 方差为0.
bias:
模型复杂的bias小。模型简单的bias大。
直观解释：我们的model是个function set，简单的model里面的space可能根本不包含最好的target。如果model比较复杂，可能包含target。
综上:
简单的model:方差小，偏差大。
复杂的model:方差大，偏差小。
因此设计模型的最终目的就是学习到一个平衡2者的模型。
如何处理高方差和高偏差?
高偏差：
•Diagnosis: 训练集表现很差（Underfitting），测试集表现很差（Overfitting）
方法：增加更多的特征，设计一个更复杂的模型。
高方差：
•More data
•Regularization（May increase bias）
