炼丹的三种情况
- Under fitting 欠拟合
- Over fitting 过拟合
- Appropriate fitting 我的理想型
欠拟合 under fitting 【小白】
模型可能还是太简单，不具备学习数据中关键特征和模式，进而在train dataset和test dataset都变现worse
- 怎么发现：训练集上worse,测试集上worse,根本没学到东西，或学的还不够
- 解决办法：
- 数据集：可能是数据集规模不够的问题，如果可以的话增加数据集的规模
- 复杂度：使用更复杂的模型、增加更多的特征、减小正则化强度
- 超参数：可能自己的超参数选的不好
过拟合 over fitting 【灌水】
模型强到了已经记住了训练集中犄角旮旯的细节完美区分数据，但是其学习得不是“通用模式”，平时表现看着贼完美，一考试上测试集，表现很差
- 怎么发现：训练集上ok,测试集上worse，记忆住了训练数据
- 解决办法：
- 数据集：数据集扩增
- 复杂度：正则化、特征选择
- 早停法：训练模型时，监控其在测试集上的性能，一旦开始下降，则立即停止training，以防止继续训练模型记住了数据，造成over fitting
- 超参数：可能自己的超参数选的不好
