开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第十六天，点击查看活动详情
总结：此文为12月更文计划第十六天第三十一篇。 在有监督学习中，模型的泛化误差来源于两个方面——偏差和方差，具体来
讲偏差和方差的定义如下：
偏差指的是由所有采样得到的大小为 m 的训练数据集训练出的所有模型的输出 的平均值和真实模型输出之间的偏差。偏差通常是由于我们对学习算法做了错误 的假设所导致的，比如真实模型是某个二次函数，但我们假设模型是一次函数。 由偏差带来的误差通常在训练误差上就能体现出来。
方差指的是由所有采样得到的大小为 m 的训练数据集训练出的所有模型的输出 的方差。方差通常是由于模型的复杂度相对于训练样本数 m 过高导致的，比如一共 有 100 个训练样本，而我们假设模型是阶数不大于 200 的多项式函数。由方差带来 的误差通常体现在测试误差相对于训练误差的增量上。 上面的定义很准确，但不够直观，为了更清晰的理解偏差和方差，我们用一 a 个射击的例子来进一步描述这二者的区别和联系。假设一次射击就是一个机器学 习模型对一个样本进行预测。射中靶心位置代表预测准确，偏离靶心越远代表预 测误差越大。
我们通过 n 次采样得到 n 个大小为 m 的训练样本集合，训练出 n 个模型，对同一个样本做 预测，相当于我们做了 n 次射击，射击结果如图 12.4 所示。我们最期望的结果就是左上角 的结果，射击结果又准确又集中，说明模型的偏差和方差都很小；右上图虽然射击结果的中 心在靶心周围，但分布比较分散，说明模型的偏差较小但方差较大；同理，左下图说明模型 方差较小，偏差较大；右下图说明模型方差较大，偏差也较大。
