1.结构风险最小化
结构风险最小化顾名思义，就是使结构风险最小，结构风险由经验风险+正则项构成，通过结构风险最小化来限制模型复杂度，在保证模型泛化能力的同时，还能避免过拟合。
2.正则化
正则化是通过限制模型复杂度，来避免过拟合。
常用的神经网络正则化有Dorpout，批归一化，L1和L2正则化。
3.线性回归
将输入变量映射到连续的输出空间的，如温度随时间变化的函数，自由落体位移随时间变化的函数等，称为回归，如果这些函数满足线性关系，则称为线性回归。
4.逻辑斯蒂回归
逻辑斯蒂回归＝线性回归+Sigmoid函数/Soft-Max函数，逻辑斯蒂回归虽然是回归函数，但是通常被用来分类，用来解决二分类或多分类问题，逻辑斯蒂回归使用Sigmoid函数，一般用于解决二分类问题，比如将人按照性别分类，逻辑斯蒂回归使用Soft-Max函数，一般用于解决多分类问题，比如将人按职业不同进行分类。
5.Sigmoid与Soft-Max函数
Sigmoid函数：Sigmoid(X)＝1╱1+e⁻ˣ常用于解决二分类问题
Soft-Max函数：Y’ᵢ＝eʸⁱ╱∑ⱼeʸⁱ,常用于解决多分类问题
6.决策树
用于做决策而构造的二叉树，通常用于分类，树的叶子节点表示一种分类结果，非叶子节点表示不同类别对应的某种属性。
7.信息熵 条件熵 信息增益
- 信息熵：用于衡量信息量的大小，信息熵越大表明信息的不确定程度越高，所包含的信息量就越小。
- 条件熵：用于描述在某一确定条件下，信息(随机变量)的不确定性
- 信息增益：信息增益＝信息熵-条件熵,表示某一条件确定后，该信息的不确定性的减少程度
8.线性判别分析LDA
一种降维方法，通常用于解决监督学习中的分类问题，它的基本思想是通过投影降低纬度，投影结果应该满足类内方差最小，类间方差最大
9.概率近似正确PAC
通常用于研究：某个机器(模型)通过学习所得的假设是否正确，该学习需要多少训练数据以及如何度量假设空间的复杂度，如何选择假设空间等问题。
10.自适应提升AdaBoost
弱学习算法通过自适应提升变为强学习算法，其思想是通过多个弱分类器，再根据一定策略将这些弱分类器结合，最终构成强分类器(有点三个臭皮匠，顶个诸葛亮的意思)。它的核心思想是：重点关注产生分类错误的样本，减少关注分类正确的样本。
