高偏差（High Bias）是机器学习中与欠拟合（Underfitting）密切相关的概念，
指模型过于简单，无法捕捉数据中的基本规律，导致在训练集和测试集上表现均不佳。
它是模型误差的另一大来源(高方差和高偏差是模型误差的两大来源)，与高方差形成对立（Bias-Variance Tradeoff）。
核心解释
-
偏差（Bias）衡量模型对真实规律的偏离程度：
- 高偏差：模型假设与数据真实规律差距大（如用线性模型拟合非线性数据），预测能力差。
- 对比高方差：高方差是模型过于复杂导致过拟合，而高偏差是模型过于简单导致欠拟合。
高偏差的具体表现
-
训练集和测试集表现均差
- 模型在训练集上的准确率低（如 60%），测试集准确率接近或略低。
- 例如：用线性回归拟合非线性数据，无论训练多久都无法达到高精度。
-
模型过于简单
- 模型结构简单（如线性模型、浅层决策树），无法表达复杂关系。
- 例如：用逻辑回归分类复杂的螺旋状分布数据，准确率始终很低。
-
无法学习特征间的非线性关系
- 模型只能捕捉线性或浅层规律，忽略数据的本质结构。
- 例如：用单层神经网络处理图像分类任务，效果远差于深度学习模型。
-
对数据变化不敏感
- 增加训练数据或调整参数对模型性能提升有限。
- 例如：无论提供多少数据，线性模型的预测误差始终较高。
-
欠拟合现象
- 模型在训练集上无法达到预期效果，预测结果粗糙。
- 例如：用简单阈值分类器区分复杂的类别分布，边界明显偏离真实分布。
示例场景
- 回归任务：用线性模型拟合正弦函数数据(非线性的)，预测结果还是呈直线，完全忽略波动。
- 分类任务：用线性决策边界分类环形分布数据，准确率始终低于 50%。
高偏差 vs 高方差
| 特征 | 高偏差（欠拟合） | 高方差（过拟合） |
|---|---|---|
| 模型复杂度 | 过于简单（如线性模型） | 过于复杂（如高阶多项式） |
| 训练集表现 | 差 | 极好 |
| 测试集表现 | 差 | 差 |
| 对数据变化的响应 | 不敏感 | 过度敏感 |
| 解决方法 | 增加模型复杂度 | 降低复杂度或正则化 |
解决方法
-
增加模型复杂度
- 使用更复杂的模型（如神经网络、高阶多项式、深度决策树）。
-
减少正则化强度
- 高偏差可能由过度正则化导致，需降低正则化参数（如 Ridge/LASSO 中的 λ）。
-
特征工程
- 添加更多特征或构造非线性特征（如多项式特征、交互项）。
-
调整超参数
- 例如增加神经网络的层数、决策树的深度。
-
延长训练时间
- 对迭代模型（如梯度下降），增加训练轮数（Epochs）。
总结
高偏差是模型“学得太粗糙”导致的欠拟合问题，表现为训练集和测试集表现均差、无法捕捉数据的本质规律。
解决方法围绕增加模型复杂度和优化特征展开。理解偏差-方差权衡（Bias-Variance Tradeoff）是优化模型的关键：需在简单模型（高偏差）和复杂模型（高方差）之间找到平衡。
