欠拟合、过拟合与良好拟合如何区分？

卷无止境
0 阅读8分钟

一、模型为什么会"学歪"？

训练一个机器学习模型，本质上是在做一件很微妙的事——让机器从有限的数据里，读懂背后那条看不见的规律，然后拿这条规律去应对它从未见过的新情况。

听起来简单，但实践中极容易走偏：要么模型太"懒"，连数据的基本走势都没学明白；要么太"死板"，把每一个训练样本连同噪声一起背得滚瓜烂熟，却对新数据束手无策。前者叫欠拟合，后者叫过拟合。两者都是失败，只是失败的方式截然相反。

二、三种拟合状态，一张图说清楚

欠拟合：模型太"懒"

欠拟合的模型就像一个考前只翻了目录的学生——对知识的理解浮于表面，无论是原题还是变题，都答不好。

技术上说，欠拟合的根源是高偏差（High Bias）：模型对数据做了过于简化的假设，导致它在训练集和测试集上的表现都很糟糕。用一条直线去拟合明显呈波浪形的数据，就是最典型的欠拟合场景。

常见的诱因包括：模型结构太简单、特征工程做得不够、正则化力度过猛，或者训练数据本身就太少。

过拟合：模型太"死板"

过拟合则像另一个极端——考前把所有原题答案死记硬背，一旦题目稍有变化，立刻哑口无言。

它的根源是高方差（High Variance）：模型不仅学到了数据中真实的规律，还把噪声和随机波动也一并"记住"了。在训练集上，它的表现近乎完美；但换一批新数据，误差就会急剧攀升。

参数过多的深度神经网络、在小数据集上长时间训练、特征维度过高（即所谓的"维度诅咒"）——这些都是过拟合的温床。

良好拟合：恰到好处的平衡

良好拟合既不偏左也不偏右，它在偏差与方差之间找到了那个微妙的平衡点。训练误差和测试误差都处于较低水平，且两者相差不大——模型真正学到了数据背后的规律，而不是在死记硬背，也不是在敷衍了事。

用一张表格来对比三种状态，一目了然：

状态训练误差测试误差偏差方差
欠拟合高高高低
良好拟合低低（接近训练误差）适中适中
过拟合极低高低高

三、代码实战：把三种状态画出来

下面用 Python 生成一组真实可运行的示例，用多项式回归来模拟三种拟合状态，并通过学习曲线进一步揭示它们的差异。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import learning_curve

# ─── 【修改】设置全局字体为宋体 ────────────────────────────────
plt.rcParams['font.family'] = 'SimSun'        # 宋体（Windows/Linux）
plt.rcParams['axes.unicode_minus'] = False    # 修复负号显示为方块的问题

# ─── 1. 生成数据 ───────────────────────────────────────────────
np.random.seed(42)
n = 40
X = np.sort(np.random.uniform(0, 10, n))
y = np.sin(X) + np.random.normal(0, 0.3, n)

X_plot = np.linspace(0, 10, 300)
y_true = np.sin(X_plot)

# ─── 2. 三种模型 ───────────────────────────────────────────────
def make_model(degree):
    return Pipeline([
        ("poly", PolynomialFeatures(degree=degree)),
        ("reg",  LinearRegression())
    ])

models = {
    "欠拟合 (degree=1)":   make_model(1),
    "良好拟合 (degree=4)": make_model(4),
    "过拟合 (degree=18)":  make_model(18),
}

colors = ["#e74c3c", "#2ecc71", "#3498db"]

# ─── 3. 拟合并绘图 ─────────────────────────────────────────────
fig, axes = plt.subplots(1, 3, figsize=(16, 5))
fig.suptitle("欠拟合 vs 良好拟合 vs 过拟合", fontsize=16, fontweight='bold', y=1.02)

for ax, (title, model), color in zip(axes, models.items(), colors):
    model.fit(X.reshape(-1, 1), y)
    y_pred_train = model.predict(X.reshape(-1, 1))
    y_pred_plot  = model.predict(X_plot.reshape(-1, 1))

    train_mse = mean_squared_error(y, y_pred_train)
    train_r2  = r2_score(y, y_pred_train)

    ax.scatter(X, y, color='gray', alpha=0.6, s=30, label='训练数据')
    ax.plot(X_plot, y_true,      'k--', linewidth=1.5, alpha=0.5, label='真实规律')
    ax.plot(X_plot, y_pred_plot, color=color, linewidth=2.5, label='模型预测')
    ax.set_title(f"{title}\nTrain MSE={train_mse:.3f}  R²={train_r2:.3f}", fontsize=11)
    ax.set_xlabel("X"); ax.set_ylabel("y")
    ax.legend(fontsize=8); ax.set_ylim(-2.5, 2.5)
    ax.grid(alpha=0.3)

plt.tight_layout()
plt.savefig("fit_comparison.png", dpi=150, bbox_inches='tight')
plt.show()

# ─── 4. 学习曲线对比 ───────────────────────────────────────────
fig2, axes2 = plt.subplots(1, 3, figsize=(16, 5))
fig2.suptitle("学习曲线：训练误差 vs 验证误差", fontsize=16, fontweight='bold')

for ax, (title, model), color in zip(axes2, models.items(), colors):
    train_sizes, train_scores, val_scores = learning_curve(
        model, X.reshape(-1, 1), y,
        cv=5, scoring='neg_mean_squared_error',
        train_sizes=np.linspace(0.2, 1.0, 8)
    )
    train_mse_mean = -train_scores.mean(axis=1)
    val_mse_mean   = -val_scores.mean(axis=1)

    ax.plot(train_sizes, train_mse_mean, 'o-', color=color,   label='训练误差')
    ax.plot(train_sizes, val_mse_mean,   's--', color='gray', label='验证误差')
    ax.fill_between(train_sizes,
                    train_mse_mean - (-train_scores).std(axis=1),
                    train_mse_mean + (-train_scores).std(axis=1),
                    alpha=0.1, color=color)
    ax.set_title(title, fontsize=11)
    ax.set_xlabel("训练样本数"); ax.set_ylabel("MSE")
    ax.legend(fontsize=9); ax.grid(alpha=0.3)
    ax.set_ylim(0, 2.0)

plt.tight_layout()
plt.savefig("learning_curves.png", dpi=150, bbox_inches='tight')
plt.show()

# ─── 5. 打印定量指标汇总 ───────────────────────────────────────
print(f"\n{'模型':<22} {'Train MSE':>10} {'Train R²':>10}")
print("-" * 44)
for title, model in models.items():
    y_pred = model.predict(X.reshape(-1,1))
    print(f"{title:<22} {mean_squared_error(y, y_pred):>10.4f} {r2_score(y, y_pred):>10.4f}")

image.png

image.png

模型                      Train MSE   Train R²
--------------------------------------------
欠拟合 (degree=1)             0.4335     0.0165
良好拟合 (degree=4)            0.0710     0.8389
过拟合 (degree=18)            0.0763     0.8270

两张图，各有侧重

拟合效果图是最直观的视觉呈现：红色的直线追不上数据的波动；蓝色的曲线剧烈震荡，穿过每一个训练点却完全偏离了真实的 sin 函数；只有绿色的曲线平滑而自然，贴近真实规律却不被噪声带偏。

学习曲线则更像一张"体检报告"——随着训练数据量的增加，观察训练误差和验证误差的走势：欠拟合时两条线都高且几乎平行；过拟合时训练误差极低但验证误差居高不下，两线之间裂开一道明显的口子；良好拟合时两条线随数据增多逐渐靠拢，最终收敛到一个令人满意的低位。

四、用数字说话：拟合质量的定量指标

光凭肉眼看图毕竟不够严谨，实际工程中需要一套量化体系来客观评判模型的拟合质量。

回归任务：这几个指标最常用

指标公式一句话理解理想值
MSE（均方误差）MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2对大误差惩罚更重，异常值敏感越小越好
RMSE（均方根误差）RMSE=MSERMSE = \sqrt{MSE}与目标变量同单位，结果可直接解读越小越好
MAE（平均绝对误差）MAE=1n∑i=1n∥yi−y^i∥MAE = \frac{1}{n}\sum_{i=1}^{n}\|y_i - \hat{y}_i\|对异常值更宽容，更稳健越小越好
R²（决定系数）R2=1−∑(yi−y^i)2∑(yi−yˉ)2R^2 = 1 - \frac{\sum(y_i-\hat{y}_i)^2}{\sum(y_i-\bar{y})^2}模型解释了多少比例的数据方差越接近 1 越好
Adjusted R²Rˉ2=1−(1−R2)n−1n−p−1\bar{R}^2 = 1-(1-R^2)\frac{n-1}{n-p-1}在 R² 基础上惩罚多余特征越接近 1 越好

这里有个容易踩的坑：R² 会随着特征数量的增加而自动升高，哪怕新加的特征毫无意义。所以在比较不同复杂度的模型时，Adjusted R² 才是更可靠的选择。

分类任务：关注训练与测试之间的"裂缝"

分类问题的指标逻辑与回归类似，核心都是盯住训练集和测试集之间的性能差距：

指标过拟合的典型信号
Accuracy（准确率）训练准确率远高于测试准确率
AUC-ROC训练 AUC 高，测试 AUC 明显下滑
F1-Score训练 F1 漂亮，测试 F1 惨淡
Log Loss训练损失趋近于零，验证损失却持续攀升

最可靠的诊断手段：K 折交叉验证

如果只用一个方法来评估模型的泛化能力，那一定是 K 折交叉验证。它把数据切成 K 份，轮流拿其中一份做验证、其余做训练，最终取平均误差。这样既充分利用了数据，又避免了单次划分带来的偶然性。

from sklearn.model_selection import cross_val_score

for title, model in models.items():
    scores = cross_val_score(model, X.reshape(-1,1), y,
                             cv=5, scoring='neg_mean_squared_error')
    print(f"{title}: CV MSE = {-scores.mean():.4f} ± {scores.std():.4f}")

偏差-方差分解：从数学上看清问题根源

从理论层面，模型的预测误差可以被拆解为三个部分：

E[(y−f^(x))2]=Bias2+Variance+σ2E[(y - \hat{f}(x))^2] = Bias^2 + Variance + \sigma^2

  • Bias2Bias^2：模型的系统性偏差，欠拟合的根源
  • VarianceVariance：模型对训练数据波动的敏感程度，过拟合的根源
  • σ2\sigma^2：数据本身的噪声，无论模型多好都无法消除

这个公式揭示了一个残酷的现实：降低偏差往往会抬高方差，反之亦然。机器学习的调参过程，本质上就是在这两者之间反复拉锯，寻找那个代价最小的平衡点。

五、出了问题，怎么修？

模型欠拟合时

  • 换一个更复杂的模型结构（更深的网络、更高阶的多项式）
  • 做更充分的特征工程，引入交叉特征或非线性变换
  • 适当降低正则化强度
  • 增加训练轮数，给模型更多"消化"数据的时间

模型过拟合时

  • 正则化：L1（Lasso）或 L2（Ridge）对模型参数加以约束，防止它走极端
  • Dropout：神经网络训练时随机"关掉"部分神经元，强迫模型学会冗余表达
  • 早停（Early Stopping）：盯住验证误差，一旦它开始回升就立刻叫停训练
  • 数据增强：扩充训练集，让模型见过更多样的情况
  • 特征筛选：砍掉无关特征，给模型"减负"
  • 集成方法：Bagging 降低方差，Boosting 降低偏差，各有侧重

结语

欠拟合和过拟合，是机器学习里最经典的一对矛盾。前者源于模型太"懒"，后者源于模型太"贪"。真正好的模型，既不偷懒，也不贪心——它从数据中学到恰好足够的规律，然后用这些规律去应对未知。

这件事说起来容易，做起来需要经验、工具和反复调试。学习曲线、交叉验证、R² 和 MSE 这些指标，正是帮你在这条路上少走弯路的导航仪。

参考资料

  • AWS Machine Learning Documentation — Model Fit: Underfitting vs. Overfitting
  • IBM Think — Overfitting vs. Underfitting
  • M. Brenddoerfer — Statistical Modeling: R², RMSE & Cross-Validation
  • NCBI Bookshelf — Quantitative Measures of Prediction Performance in Statistical Machine Learning
avatar
文章
阅读
粉丝