携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第1天，点击查看活动详情
偏差和方差之间的权衡（Bias-Variance Tradeoff）可以通过方差-偏差-分解来实现。（Bias-Variance-decomposition）。
偏差 - 方差分解提供了分析学习算法对于特定问题的平均（或叫期望）泛化误差的可能。并且可以表示为三个项的总和：偏差，方差和由算法内噪声引起的不可约误差（随机误差）。
这种分解适用于所有形式的监督学习：分类，回归，和结构化输出学习。它也被用来解释启发式在人类学习中的有效性。
给定一个训练集，由n个数据点（一个数据点就是一行数据）和与其对应的n个目标值组成。假定f是存在于数据点xi和目标值yi之间的真实函数，则有:
（%￥）
其中ε是随机误差项，呈高斯分布，期望值为0方差为σ2。随机误差是数据本身的噪音带来的，这种误差是不可避免的。
借助于一些机器学习算法，我们可以找到一个函数，尽可能地近似y值。这种近似的精确度可以通过y与其之间的均方差
来测量。
更进一步说，我们希望不仅对给定数据集而且对数据外的数据点都可被最小化。当然，我们不要期望这种最小化是完美的(不可能为0)，因为y本身（见式子（%￥））受随机误差ε的影响。
一个能泛化到训练数据集以外的数据点的近似函数的确定可以通过很多监督学习算法来实现。
事实证明，无论选择哪个函数，我们都可以按如下方式分解样本X上的预期误差：（注意这是对一个数据点的差方均值分解）
