在机器学习中，**偏差（Bias）和方差（Variance）**是模型预测误差的两个核心来源。
它们共同决定了模型的泛化能力，并形成了经典的偏差-方差权衡（Bias-Variance Tradeoff） 。
1. 基本定义
-
偏差（Bias） ：
模型对真实关系的系统性偏离。高偏差意味着模型过于简单,无法捕捉数据中的复杂模式（欠拟合）。例如：用线性回归拟合非线性数据。
-
方差（Variance） ：
模型对训练数据中随机噪声的敏感程度。高方差意味着模型过度拟合了训练数据的细节（包括噪声），导致在新数据上表现差（过拟合）。例如：一个深度过大的决策树在训练集上完美，但测试集表现糟糕。
2. 高方差、低偏差的模型
-
特点：
- 低偏差：模型对训练数据的拟合能力很强（预测结果与真实值差异小）。
- 高方差：模型对训练数据的微小变化非常敏感，泛化能力差。
典型表现：训练集准确率高，但测试集准确率显著下降。
-
例子：
- 深度过大的决策树、未正则化的神经网络、高阶多项式回归。
- 这类模型通常复杂度过高，记住了训练数据的噪声。
3. 低方差、高偏差的模型
-
特点：
- 高偏差：模型过于简单，无法捕捉数据中的规律（预测结果与真实值差异大）。
- 低方差：模型对数据变化不敏感，在不同数据集上表现稳定但效果差。
典型表现：训练集和测试集的准确率都不高。
-
例子：
- 线性回归拟合非线性数据、深度过浅的决策树。
- 这类模型通常复杂度过低，忽略了数据中的关键特征。
4. 偏差-方差分解
模型的泛化误差可以分解为：
误差=偏差2+方差+不可约误差（噪声）误差=偏差2+方差+不可约误差（噪声）
- 目标：通过调整模型复杂度，找到偏差和方差的平衡点（最小化总误差）。
5. 如何判断模型的问题？
-
高偏差（欠拟合）：
- 训练集和测试集表现均差。
- 解决方法：增加模型复杂度（如更多特征、更深树结构、更少正则化）。
-
高方差（过拟合）：
- 训练集表现好，测试集表现差。
- 解决方法：降低模型复杂度（如正则化、剪枝、减少特征）、增加数据量、使用集成方法（如Bagging）。
图示理解
用射击靶子比喻：
- 低偏差、高方差：子弹密集但偏离靶心（过拟合，敏感但不准确）。
- 高偏差、低方差：子弹集中但远离靶心（欠拟合，稳定但错误）。
- 理想状态：子弹密集且命中靶心（低偏差、低方差）。
实际应用
- 随机森林：通过Bagging降低方差（多个高方差树取平均）。
- Boosting：通过迭代优化降低偏差（如GBDT、XGBoost）。
- 深度学习：通过正则化（Dropout、L2）、数据增强降低方差。
高偏差 vs 高方差
| 特征 | 高偏差（欠拟合） | 高方差（过拟合） |
|---|---|---|
| 模型复杂度 | 过于简单（如线性模型） | 过于复杂（如高阶多项式） |
| 训练集表现 | 差 | 极好 |
| 测试集表现 | 差 | 差 |
| 对数据变化的响应 | 不敏感 | 过度敏感 |
| 解决方法 | 增加模型复杂度 | 降低复杂度或正则化 |
理解偏差和方差，是调参和选择模型的关键基础！
