线性回归、最小二乘法、梯度下降三者关系：
正则化：L1-norm、L2-norm
优化线性回归:
通过修改损失函数，在模型训练中引入对参数大小的惩罚，从而解决过拟合问题，提高线性回归预测准确度。
对应 Lasso回归 和 Ridge回归
Lasso回归（L1正则化）
- 数学形式： 在损失函数中加入参数的 绝对值之和（L1范数） ：
- 作用：
- 将部分参数压缩为 0（自动特征选择）。
- 适用于高维数据（特征数 >> 样本数），或需要稀疏性的场景。
- 可以生成更简单的模型（部分特征权重为 0）。
Ridge回归（L2正则化）
- 数学形式： 在普通最小二乘损失函数中加入参数的 平方和（L2范数） ：
- 作用：
- 缩小所有参数，但不会将任何参数压缩为 0。
- 适用于特征间存在共线性（相关性高）的场景。
- 提升模型的泛化能力，防止过拟合。
Elasitc Net
L1、L2混合
总结：
线性回归是模型，最小二乘法和梯度下降是两种求解线性回归参数的方法，
