来源：towardsdatascience.com/understandi…
翻译：石头
\
机器学习模型的性能测量是一项必不可少的工作，因此，当涉及到分类问题时，我们可以考虑用AUC-ROC曲线 。当我们需要检查或可视化多分类问题的性能时，我们使用ROC曲线下的面积（AUC），它是检验任何分类模型性能最重要的评估指标之一。\
本文旨在回答以下问题：\
1. 什么是AUC-ROC曲线 ？
2. 定义AUC和ROC曲线中使用的术语\
3. 如何推测分类模型的性能 ？
4. 灵敏度、特异度、FPR与阈值的关系
5. 如何将AUC-ROC曲线用于多分类模型
1. 什么是AUC-ROC曲线**
**
AUC-ROC曲线是在不同阈值设置的条件下，分类问题的性能度量。ROC的含义为概率曲线，AUC的含义为正负类可正确分类的程度。它告诉模型能够在多大程度上区分类，AUC越高，模型越能预测0为0和1为1。类比疾病诊断模型，若AUC越高，模型对有疾病和无疾病的区分就越好。\
ROC曲线由TPR与FPR作图，其中TPR是y轴，FPR是x轴。如下图：
2. AUC-ROC曲线的术语定义**
**
真阳率（TPR）/召回率（Recall）/敏感度（Sensitivity）：\
特异度（Specificity）
假阳率（FPR）\
3. 如何推测分类模型的性能\
一个优秀的模型AUC接近于1，这意味着它具有良好的可分性。一个差模型的AUC接近于0，意味着它的可分性最差，意味着模型预测0是1，1是0。当AUC为0.5时，表示模型没有任何的分类能力，意味这随机给出分类结果。\
让我们来解释以下上面的陈述。\
我们知道，ROC是概率曲线，我们画出这些概率的分布，
备注：红色分布曲线为正类（有疾病者），绿色分布曲线为负类（无疾病者）。\
如上图为正类和负类的分布，我们根据ROC曲线的定义，以阈值为1向0移动，得到相应的TPR和FPR，因此我们根据上图可画出ROC曲线，ROC曲线下的面积等于1，即AUC=1。
ROC曲线图如下：\
同理，我们根据下图的正负类分布画出ROC曲线，AUC = 0.7\
当正负类的分布完全相同时，即模型的分类结果是随机给出的，即AUC=0.5，如下图的正负类分布和ROC曲线：\
AUC=0.5时，模型没有区分正类和负类的能力，这是最糟糕的情况。
当AUC=0时，模型完全预测错误，即负类预测为正类，正类预测为负类。\
4. 敏感度（Sensitivity）、特异度（Specificity）、FPR与阈值（Threshold）的关系\
敏感度和特异度成反比，当我们增加敏感度时，特异度下降，反之亦然。\
解释：当我们降低阈值时，我们的预测结果会得到更多的正值，从而增加了敏感度，降低了特异度。\
同样地，当我们增加阈值时，我们的预测结果会得到更多的负值，从而增加了特异度，降低了灵敏度。\
正如我们所知道的，FPR = 1 - 特异度，所以当我们增加TPR时，FPR也会增加，反之亦然。\
5. 如何将AUC-ROC曲线用于多分类模型\
在多分类模型中，我们可以用一种方法绘制N个类别的AUC-ROC曲线。举个例子，如果你有3个类别，X，Y，Z。你会绘制出3个ROC曲线，一个ROC曲线代表X，对应Y和Z，一个ROC曲线达标Y，对应X和Z，一个ROC曲线代表Z，对应Y和X。\
往期精彩回顾
适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册AI基础下载（pdf更新到25集）本站qq群1003271085，加入微信群请回复“加群”获取一折本站知识星球优惠券，请回复“知识星球”喜欢文章，点个在看
