分类算法的评价指标

子妍
1,598 阅读6分钟

分类算法的评价指标

分类任务的常用评价指标：混淆矩阵（Confuse Matrix）、准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score、P-R曲线（Precision-Recall Curve）、ROC、AUC。

1、混淆矩阵（Confuse Matrix）

针对一个二分类问题，即将实例分成正类（positive）或负类（negative），在实际分类中会出现以下四种情况： （1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
（2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
（3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
（4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )

混淆矩阵的每一行是样本的预测分类，每一列是样本的真实分类（反过来也可以）。

image.png

2、准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score

1）准确率(Accuracy)

预测正确的样本数量占总量的百分比，具体的公式如下：

[公式]

准确率有一个缺点，就是数据的样本不均衡，这个指标是不能评价模型的性能优劣的。

假如一个测试集有正样本99个，负样本1个。模型把所有的样本都预测为正样本，那么模型的Accuracy为99%，看评价指标，模型的效果很好，但实际上模型没有任何预测能力。

2）精准率(Precision)

又称为查准率，是针对预测结果而言的一个评价指标。在模型预测为正样本的结果中，真正是正样本所占的百分比，具体公式如下：

[公式]

精准率的含义就是在预测为正样本的结果中，有多少是准确的。这个指标比较谨慎，分类阈值较高。

3）召回率(Recall)

又称为查全率，是针对原始样本而言的一个评价指标。在实际为正样本中，被预测为正样本所占的百分比。 具体公式如下：

[公式]

尽量检测数据，不遗漏数据，所谓的宁肯错杀一千，不肯放过一个，分类阈值较低。

4）F1 Score

针对精准率和召回率都有其自己的缺点；如果阈值较高，那么精准率会高，但是会漏掉很多数据；如果阈值较低，召回率高，但是预测的会很不准确。

例子

假设总共有10个好苹果，10个坏苹果。针对这20个数据，模型只预测了1个好苹果，对应结果如下表

image.png

[公式]

虽然精确率很高，但是这个模型的性能并不好。

从上述例子中，可以看到精确率和召回率是此消彼长的，如果要兼顾二者，就需要F1 Score。

[公式]

F1 Score是一种调和平均数。

3、P-R曲线

P-R曲线是描述精确率和召回率变化的曲线。对于所有的正样本，

绘制P-R曲线？

设置不同的阈值，模型预测所有的正样本，计算对应的精准率和召回率。

image.png

模型与坐标轴围成的面积越大，则模型的性能越好。但一般来说，曲线下的面积是很难进行估算的，所以衍生出了“平衡点”（Break-Event Point，简称BEP），即当P=R时的取值，平衡点的取值越高，性能更优。

4、ROC曲线和AUC

1） 为什么会有ROC？

例子

有好苹果9个，坏苹果1个，模型把所有的苹果均预测为好苹果。

image.png

[公式]

我们能够得出，尽管 Precision、Recall、F1都很高，但是模型效果却不好。所以针对样本不均衡，以上指标很难区分模型的性能，就需要用到ROC和AUC。

2） 基本概念

对应的各个缩写含义：

image.png

在介绍ROC和AUC之前，我们需要明确以下三个概念：

真正类率（true positive rate, TPR） ，也称为灵敏度(sensitivity) ，等同于召回率。刻画的是被分类器正确分类的正实例占所有正实例的比例。

[公式]

真负类率（true negative rate, TNR） ，也称为特异度(specificity) ，刻画的是被分类器正确分类的负实例占所有负实例的比例。

[公式]

负正类率（false positive rate, FPR） ，也称为1-specificity，计算的是被分类器错认为正类的负实例占所有负实例的比例。

[公式]

3）ROC曲线

ROC（Receiver Operating Characteristic）曲线，又称接受者操作特征曲线。 曲线对应的纵坐标是TPR，横坐标是FPR。

image.png 绘制方法：

设置不同的阈值，会得到不同的TPR和FPR，而随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着负类，即TPR和FPR会同时增大。阈值最大时，对应坐标点为（0,0），阈值最小时，对应坐标点（1,1）。

理想目标： TPR=1, FPR=0，即图中(0,1)点。故ROC曲线越靠拢(0,1)点，即，越偏离45度对角线越好。对应的就是TPR越大越好，FPR越小越好。

4）AUC

AUC(Area Under Curve)是处于ROC曲线下方的那部分面积的大小。AUC越大，代表模型的性能越好。

对于例子三的样本不均衡，对应的TPR=1，而FPR=1，能够判断模型性能不好。

auc的计算

auc的值是求roc的积分，但是求积分比较困难，所以通过转化，变为另一种求解，可查看：Wilcoxon-Mann-Witney Test，所以最终的AUC求解是通过如下公式计算所得，还需要注意的是当二元组中正负样本的 score相等的时候，按照0.5计算。

方案一：

[公式]

def AUC(label, pre):
    pos = [i for i in range(len(label)) if label[i] == 1]
    neg = [i for i in range(len(label)) if label[i] == 0]
    #计算正样本和负样本的索引，以便索引出之后的概率值
    auc = 0
    for i in pos:
        for j in neg:
            if pre[i] > pre[j]:
                auc += 1
            elif pre[i] == pre[j]:
                auc += 0.5
    return auc / (len(pos)*len(neg))
if __name__=="__main__":
    label = [1, 1, 0, 0, 1, 1]
    pre = [0.1, 0.4, 0.5, 0.5, 0.8, 0.9]
    ans=AUC(label, pre)
    print(ans)

方案二：由于第一种复杂度是O(n^2),可以优化到O(n)

显然比C小的就是A
比D小的就是A，B
C的位置是2 D的位置是4
2+4 =A+C+A+B+C+D -----------(1)
而我们的目标是：
1+2=A+A+B -----------(2)
因此需要将(1)式减去 C+C+D
显然就是将正样本进行排列然后用等差数列求和公式即： [公式]

那就是正负样本平分位置即可

image.png

def AUC2(label, pre):
    new_data = [[p, l] for p, l in zip(pre, label)]
    new_data.sort(key = lambda x : x[0])
    score_index = {}
    for index, i in enumerate(new_data):
        if i[0] not in score_index:
            score_index[i[0]] = []
        score_index[i[0]].append(index + 1)
    rank_sum = 0.
    for i in new_data:
        if i[1] == 1:
            rank_sum += sum(score_index[i[0]]) / len(score_index[i[0]]) * 1.0
    pos = label.count(1)
    neg = label.count(0)
    if not pos or not neg:
        return None
    return (rank_sum - (pos * (pos + 1) * 0.5)) / (pos * neg)
if __name__=="__main__":
    label = [1, 1, 0, 0, 1, 1]
    pre = [0.1, 0.4, 0.5, 0.5, 0.8, 0.9]
    ans=AUC2(label, pre)
    print(ans)

5、总结

当正负样本差距不大的情况下，ROC和PR的趋势是差不多的，但是当负样本很多的时候，两者就截然不同了，ROC效果依然看似很好，但是PR上反映效果一般。ROC就不会出现例子一、二、三的情况。

avatar
文章
阅读
粉丝