IT古董

在机器学习中，"参数"（parameters）和"超参数"（hyperparameters）是两个非常基础却又容易混淆的概念。理解它们的区别和作用，是深入掌握机器学习的第一步。

在深度学习中，尤其是卷积神经网络（CNN）中，有一个非常关键却常被忽视的设计思想，那就是——参数共享（Parameter Sharing）。

正则化（Regularization）最早源于统计学和机器学习的研究，用于解决模型的*过拟合*（Overfitting）问题。过拟合是指模型在训练集上表现很好，但在测试集上效果很差，泛化能力弱。

过度拟合（Overfitting）是指机器学习模型在训练数据上表现得非常好，但在新数据（测试集）上的表现很差。原因是模型把训练数据的特征甚至噪声都记住了，导致泛化能力差。

过拟合是指模型在训练集上表现很好，但在测试集或新数据上效果很差。模型学到了“噪声”或“异常值”的特征。欠拟合是指模型太简单，无法捕捉数据的有效规律，无论在训练集还是测试集上效果都不好。

异常值（Outlier）是指那些在数据集中远离其他观测值的点，通常与数据的整体趋势明显不同，可能源于错误、噪声、特殊事件或极端情况。

Out of Core（外核计算）指的是：当数据集太大，内存放不下时，通过将数据分批（或按行、按块）从磁盘中读取到内存，进行分段计算或增量学习的一类技术手段。

在随机森林（Random Forest）或Bagging（自助采样）模型中，模型训练过程中会使用Bootstrap抽样（有放回抽样）来构建每一棵子模型的训练集。

最小二乘法（Ordinary Least Squares, 简称 OLS）是统计学和机器学习中最常见的线性回归方法之一。 它的核心思想非常简单直白：找一条最合适的直线，使得所有点到这条直线