机器学习笔记二——模型性能度量

经验误差与过拟合

error rate 错误率 and accuracy 精度

$m$个样本中有$a$个分类错误则错误率$E=a/m$，精度$=1-E$。

traning error 训练误差 or empirical error 经验误差

学习器在训练集上的误差称之为训练误差（经验误差）

generalization error 泛化误差

学习器在新样本（测试集）上的误差称之为泛化误差

overfittting 过拟合

学习器把训练样本上学得“太好了”，将其中存在的一些特点当成了所有潜在样本的一般性质，导致泛化性能下降，称之为过拟合。

与过拟合相反的叫underfitting 欠拟合

评估方法

对于一个包含$m$个样本的数据集$D=\{(\pmb{x}_1,y_1),...,(\pmb{x}_m,y_m)\}$，怎么将其分成测试集和训练集？以下介绍几个方法

hold-out 留出法

直接将数据集拆分成两个互斥的合集，一个作为训练集$S$，另一个是测试集$T$，$D=S \cup T,S\cap T=\emptyset$。

cross alidation 交叉验证法

将数据集划分成$k$个大小相似的互斥子集（又称k折交叉验证），每次用$k-1$个子集训练剩下一个子集做测试，因此可以获得$k$组训练/测试结果，再求均值得到最终的结果，$k$常取值为10。

boostrapping 自助法

以自主采样法（boosrtapping sampling）为基础，通过对包含$m$个样本的数据集$D$采样获得数据集$D'$。每次从$D$中随机采样一个样本放到$D'$中，再将采样过的样本放回$D$中，这样样本在下一次采样中还可能被采样到。$m$次后获得包含$m$个样本的$D'$，$D$中一些样本会在$D'$中反复出现，样本在$m$次中不被采样到的概率为$(1-\frac{1}{m})^m$，求极限得到（计算方法见微积分求极限方法及公式）：

可知$D$中约有36.8%的样本未出现在$D'$中。

performance measure 性能度量

性能度量反映了任务需求，用于衡量模型泛化能力，预测任务中给定样本集$D=\{(\pmb{x}_1,y_1),...,(\pmb{x}_m,y_m)\}$，其中$y_i$为$\pmb{x}_i$的真实标记，通过比较学习得到映射函数$f(\pmb{x})$和$y$来评估模型性能。

mean squared error 均方误差

回归任务最常用的性能度量：

对于数据分布$\mathcal{D}$和概率密度函数$p(\cdot)$，均方误差可以描述为：

错误率与精度

分类任务中最常用的两种性能度量，同时适用于二分类和多分类任务。对于样本集$D$，错误率为（Ⅱ表示取0或1）：

精度的定义为：

使用概率密度函数$p(\cdot)$和数据分布$\mathcal{D}$得到的描述方法为：

precision recall and F1 score 准确率、召回率与F1分数

可以把真实分类和预测器分类结果的组合划分成四个类别如下表所示：

准确率$P$和召回率$R$的定义为：

准确率和召回率是一堆矛盾的度量，一个高时另一个就可能会低，如下图所示。

因此在学习中人们希望能找到一个点来平衡两个度量，从而找到最合适的取值。

平衡点（Break-Event Point，BEP）是准确率等于召回率时的点，在上图中学习器C的BEP是0.64，学习器A的平衡点最高因此可以认为A是最优的学习器。

BEP的方法还是比较简单，F1分数是一个更好的度量方法（它是两个度量的调和平均（harmonic mean）值的倒数）：

在一些应用中用户可能会对准确率和召回率存在“偏好”，因此定义F1分数的一般形式$F_\beta$：

通过调节$\beta$的值来调节两个度量对F1分数的影响程度，$\beta =1$时，两个度量平等，$1>\beta >0$时，准确率影响更大，$\beta >1$时，召回率影响更大（因为调和平均的方法更注重比较小的值）。

ROC曲线和AUC面积

二分类学习器通过映射函数为测试样本生成一个实值或概率预测，然后将这个预测值与某个分类阈值（threshold）比较来确定其分类。这个阈值如何确定影响到学习器的泛化性能，通常学习过程中会按照某种规则（如准确率或召回率的值）将测试样本进行排序然后确定一个“截断点（cut point）来将样本分为两部分，截断点的值即为分类阈值。

ROC（Receiver Operating Characteristic）曲线基于样本的测试结果绘制曲线，其原理与P-R曲线相似，但其横轴为FPR，纵轴为TPR：

若学习器A的ROC曲线被学习器B完全包裹住，则学习器B优于学习器A；若二者有交叉一般则比较其AUC（Area Under ROC Curv）面积，AUC通过计算ROC曲线下各部分的面积和求得，假定ROC曲线由坐标值为$\{(x_1,y_1),...(x_m,y_m)\},x_1=0,x_m=1$的点构成（样本点是离散的因此ROC曲线实际上是由离散的样本点取值连接后平滑而成），如下图(b)所示，则AUC面积可以估算为：

cost-sensitive 代价敏感错误率和代价曲线

错误会被赋予不均等代价，前面一些性能度量中大多将所有类型的错误都设置为代价均等的，没有考虑不同错误可能会造成不同的后果，某些错误造成后果产生的“代价更大”，某些代价则较小。因此在代价敏感任务的度量中不是简单的最小化错误率而是希望最小化“总体代价”（total cost）。

下表展示了一个二分类代价矩阵：

基于表内信息得到的代价敏感错误率为（$D^+,D^-$表示样本集的两个分类子集）：

这种情况下ROC曲线不能反映学习器的总体期望，因此需要使用代价曲线（cost curve）来做问题的形式化展现，代价曲线的横轴取值为$[0,1]$的正例概率代价：

其中$p$是样本为正例的概率，纵轴的取值是$[0,1]$区间的归一化代价。

比较检验

基于上述的实验评估方法和性能度量，怎么对学习器的性能做评估呢？性能评估存在几个需要解决的问题：

• 大多数人希望比较的是泛化性能，但实验评估得到的是测试集上的性能，二者不一定共通。
• 测试集上的性能和测试集选择有很大的联系，如何排除测试集的影响？
• 机器学习算法大多包含一定的随机性，即使相同的参数在相同的测试集测试也可能得到不同的结果，如何在这种情况下比较学习器的性能？

接下来的内容中以错误率($\epsilon$)为性能度量讨论比较检验方法。

hypothesis test 假设检验

假设表示对学习器泛化错误率分布的一种猜想或推断，例如$\epsilon=\epsilon_0$，任务中并不能感知学习器的泛化错误率，只能通过测试集获取其测试错误率$\hat{\epsilon}$，二者不一定相同，但总体趋势比较接近（相差很远的可能性很小），因此可以通过$\hat{\epsilon}$来推断$\epsilon$。

对于包含$m$个测试样本的集合，$\hat{\epsilon}$意味着有$\hat{\epsilon} \times m$个样本被分类错误，而泛化错误率为$\epsilon$，它将$m'$个样本全部分类正确的概率是$\epsilon^{m'}(1-\epsilon)^{m-m'}$、因此可以计算学习器恰好将$\hat{\epsilon} \times m$个样本分类错误的概率为（即泛化错误率为$\epsilon$的学习器测试得到$\hat{\epsilon}$的概率）：

给定$\hat{\epsilon}$的情况下求得$\frac{\partial P(\hat{\epsilon};\epsilon)}{\partial\epsilon}=0$，可知当$\hat{\epsilon}=\epsilon$时，$P(\hat{\epsilon};\epsilon)$最大，符合二项分布的原理。

binomial test 二项检验

下图展现了一个二项分布的误分类概率直方图：

考虑假设$\epsilon \leq \epsilon_0$，则$1-\alpha$的概率内观测到的最大错误率如下式所示（s.t. 即 subject to）：

$1- \alpha$表示置信度（confidence），即图2.6中非阴影部分的范围。

t-test t检验

在多次训练和测试的情况（如交叉验证），会得到多个$\hat{\epsilon}$，这次情况二项检验不适用，可采用t检验法，假定得到了$k$个测试错误率：$\hat{\epsilon}_1,...,\hat{\epsilon}_k$，求得其平均错误率$\mu$和方差$\sigma^2$。

这$k$个测试错误率可看做$\epsilon_0$的独立采样，变量$\mathcal{T}_t=\frac{\sqrt{k}(\mu-\epsilon_0)}{\sigma}$服从自由度$k-1$的$t$分布，如下图所示：

交叉验证t检验

对于学习器A和B使用$k$折交叉验证得到测试错误率：$(\epsilon_1^A,...,\epsilon^A_k),(\epsilon_1^B,...,\epsilon_1^B)$，这种情况可以使用成对t检验（paired t-tests）来进行比较检验。

先对像个结果求差：$\Delta_i=\epsilon_i^A-\epsilon^B_i$，若$\Delta_i=0$则两个学习器性能相同；若不为0，则使用：$\Delta_1,...,\Delta_k$来对两个学习器性能相同这个假设做t检验，计算均值和方差，在显著度为$\alpha$的情况下若变量：

小于临界值$t_{\alpha /2,k-1}$则假设不能拒绝，即两个学习器性能没有显著差异，若大于临界值则错误率平均值较小的学习器显著较优。

McNemar 检验

对于学习器A和B，不仅可以估计其测试错误率还能计算其分类结果差别（即都对、都错或一个对一个错），如下表所示：

若两个学习器性能相同，应有$e_{01}=e_{10}$，变量$|e_{01}-e_{10}|$应服从正态分布，且均值为1，方差为$e_{01}+e_{10}$。变量：

应服从自由度为1的$\mathcal{X}^2$分布（卡方分布）。

Friedman 检验与 nenyl 后续检验

上述方法都是关于两个算法比较的方法，当涉及多个算法比较时，一种的分别两两进行比较，另一种方法是使用基于算法排序的Freidman检验。

假设有A、B、C三个学习算法，在$D_1,D_2,D_3,D_4$四个数据集上比较，根据测试性能的好坏赋予序值1,2,...。如下表所示：

使用Freidman检验来判断这些算法的性能是否相同，若相同则其平均序值应相近。假定在$N$个数据集上比较$k$个算法，$r_i$表示第$i$个算法的平均序值，$r_i$服从正态分布，其均值和方差为$(k+1)/2,(k^2-1)/12$。变量：

当$k,N$较大时，服从自由度为$k-1$的$\mathcal{X}^2$分布。

通过表2.5可以画出Friedman 检验图，直观看出差别，若有交界则算法性能相似，若没有交界则算法性能存在显著差别。

bias-variance 偏差-方差

估计学习器的泛化性能后，通常大家还希望能解释其具有这样（好的或坏的）泛化性能的原因，偏差-方差分解 （bias-variance decomposition）是其中一个重要的解释工具。

偏差-方差分解通过拆解对学习算法的期望来解释其构成，对于测试样本$\pmb{x}$，$y_D$为$\pmb{x}$在数据集中的标记集，$y$为$\pmb{x}$的真实标记，$f(\pmb{x};D)$为基于训练集$D$得到的学习模型$f$在$\pmb{x}$上的输出，学习算法的期望预测为：

使用样本数相同的不同训练集产生的方差为：

噪声为：

期望输出与真实标记的差值称为偏差（bias）：

假定噪声为0（便于简化问题），则可以通过多项式展开合并来分解算法的期望泛化误差：

最后得到（泛化误差可分解为偏差、方差与噪声之和）：