过拟合与欠拟合随记

模型复杂的原因：数据的特征和目标值之间的关系，不仅仅是线性关系。
根据结果现象判断 欠拟合还是过拟合。

特征选择

过滤式：低方差特征。
嵌入式：正则化，决策时，神经网络。

正则化的做法是：不断尝试减少高频次特征项的权重，使得模型更简单，更不易产生过拟合。

线性回归

此算法容易出现过拟合，因为需要在训练集数据上表现的更好。
L2正则化，岭回归（一种带有正则化的线性回归算法）
正则化力度符号：λ

正则化力度对模型参数的影响

从右往左看正则化力度越大，模型参数越趋近于0
正则化力度取值可以是一个0~1之间的数，可以是2位3位小数，也可以是1~10之间的数，通过网格搜索选择一个效果比较好的值。