Datawhale X 李宏毅苹果书 AI夏令营task3笔记

70 阅读3分钟

写在前面:

task3 的内容着重讲述在训练模型时出现拟合效果差的各种原因及解决方法。

实践中会出现的问题

问题类型定义出现原因解决方法
模型偏差模型复杂度不足,无法很好地拟合训练数据,导致在训练集上的表现较差。模型过于简单,函数集合过小。特征不足或选择不当。增加模型复杂度,如更多特征或更深层模型。使用更复杂的算法,如深度学习。 调整模型结构。
优化问题优化算法未能找到最优解,导致模型在训练集上的损失仍然较高。梯度下降陷入局部最小值。模型复杂度足够,但优化算法未找到损失较低的函数。尝试不同的优化算法,如 Adam 或 RMSProp。调整学习率、批量大小等超参数。运行浅层模型或非深度学习模型,评估模型复杂度。
过拟合模型在训练数据上表现优异,但在测试数据上表现较差,通常是因为模型过于复杂。模型过于复杂,参数过多。 训练集不足。增加训练数据或使用数据增强技术。减少模型复杂度,如减少神经元数量或使用参数共享。使用正则化方法,如 L2 正则化、Dropout 等。使用早停法(Early Stopping)。
不匹配训练集和测试集的分布不同,导致模型在训练集上表现良好,但在测试集上表现不佳。训练集和测试集数据分布不一致数据划分不当。深入理解数据的产生过程,确保分布一致。采用交叉验证。使用更复杂的模型或引入先验知识。

辨析各种问题的方法

当模型在训练数据或测试数据上的拟合效果不好时,通常需要判断问题的根源,以便采取相应的解决措施。以下是针对拟合效果不佳的背后问题的判断方法总结:

1. 判断是模型偏差还是优化问题

判断方法: 检查模型的复杂度。如果模型过于简单,可能无法捕捉数据的复杂模式,导致训练损失较高。
对比不同模型的性能,例如浅层模型与深层模型。如果较复杂的模型表现不如简单模型,且训练损失高,可能是优化问题。

2. 判断是过拟合还是数据不匹配

判断方法: 检查训练损失和测试损失的差异。如果训练损失很低但测试损失很高,模型可能过拟合。
检查训练集与测试集的数据分布。如果它们的分布存在显著差异(如不同时间段的数据),可能存在数据不匹配问题。

3. 实践建议

  • 先使用较小或较简单的模型进行实验,观察模型在训练集上的表现。如果损失较低,再尝试更复杂的模型。
  • 当发现训练损失较高时,首先检查模型的复杂度是否足够;如果足够复杂,再检查优化算法是否合适。
  • 如果模型在测试集上的损失较高,且训练集表现良好,可能需要考虑是否存在过拟合或数据不匹配的问题。