2 PAC学习框架 （page 26）

2.4.3 估计和近似误差

假设$h ∈ H$中的误差和贝叶斯误差之间的差异可分解为：

其中$h^*$是$H$中具有最小误差的假设，或者同类最佳假设。
第二项被称为近似误差，因为它衡量使用$H$可以近似贝叶斯误差的程度。它是假设集$H$的一个属性，是其丰富性的一个度量。由于底层分布$D$通常未知，因此无法访问近似误差。即使在各种噪声假设下，估计近似误差也是困难的。
第一项是估计误差，它取决于选择的假设$h$。它衡量假设$h$相对于同类最佳假设的质量。不可知PAC学习的定义也是基于估计误差。算法$A$的估计误差，即在样本$S$上训练后返回的假设$h_s$的估计误差，有时可以在泛化误差方面有界。
例如，让 $h^{ERM}_S$ 表示经验风险最小化算法返回的假设，即用最小的经验错误返回假设$h^{ERM}_S$的算法。然后，定理$2.2$或任何其他受$sup_{h\in H}|R(h)-\widehat R(h)|$所定的泛化约束，可用于约束经验风险最小化算法的估计错误。事实上，重写估计错误，使$\widehat R(h^{ERM}_S)$出现，并使用根据算法的定义的$\widehat R(h^{ERM}_S)\leq\widehat R(h^*)$，我们可以写

$3.$当$H$是有限假设集时，$h^∗$必然存在；否则，在本讨论中，$R(h^∗)$ 可以用$inf_{h\in H}R(h)代替$。